Az épületet a 19. század elején építtette Batthyányi Antal József és eredetileg
kertészlakásként üzemeltették, majd a ménes 1853-as megalapításától fogva a ménesparancsnoki lakás funkcióját töltötte be.
1904-ben az építményt Bárány Pál építész tervei alapján átépítették, ekkor nyerte el jelenlegi formáját.
A II. világháború idején rövid időre itt rendezkedett be a szovjet parancsnokság. A szocialista időszakban több lakásra osztották a házat és orvosok lakhelyéül szolgált. 2000. március 15-e óta a Kiskastély ad
otthont Kisbér város történetét bemutató állandó helytörténeti kiállításnak.
Jelenleg a múzeum hét termében a város – kőkori és római kori kezdetektől az 1960-as évekig nyúló – történetét ismerhetik meg a látogatók.
A Batthyányok idején Kisbér – központi szerepénél fogva – kiemelkedett a környező falvak közül. Batthyány Lajos 1760-ban nekilátott a kastély felépítésének, utóda, Tódor mintagazdasággá fejlesztette az uradalmat, üzemeket és manufaktúrákat alapított, többek között posztógyár, téglagyár, malom, fűrészmalom, sörgyár létesült.
Az őt követő Batthyány Antal József a kastély köré 100 holdas angolparkot építtetett. A jobbágyokat elköltöztette a kastély mellől, ezzel kialakult a mai településszerkezet elődje.
Antal József idejében épült a Kiskastély. Kisbér utolsó földesura Batthyány Kázmér volt, a reformkori felsőházi ellenzék egyik vezéralakja, Magyarország első külügyminisztere, a nemzeti kultúra bőkezű támogatója.
Az épület 2010-ben felújításon esett át egy uniós pályázat keretén belül.