Det pompøse navn er en overlevering fra en tidligere bygning på stedet - muligvis en lensmands bolig. Kongsgården har oprindelig været en firlænget gård med port i længen ud til vejen. Gården menes at være opført i 1712, men forkullet træ, fundet i jorden, vidner om tidligere bebyggelse. Over døren i det lille bislag står årstallet 1788 - året for stavnsbåndets ophævelse og landboreformerne - et år, hvor bonden har følt lyst til at pynte på sin gård. Aftægtsstuen er opført i 1830, og omtrent samtidig er haven bag huset anlagt. Haven skråner ned mod den nu tørlagte Lejre Å, og for enden af haven har byens fælles blegeplads været.
At huset i dag fremstår, som et landbohjem så ud for ca. 100 år siden, skyldes, at der på gården 1870 til 1920 boede et søskendepar, som ikke moderniserede noget, men brugte og vedligeholdt de gamle ting og arbejdsmetoder. Huset blev fredet i 1910, og i 1920'erne flyttede en niece til søskendeparret, Kirsten Nielsen, ind i huset for at bevare det. Hun åbnede efterhånden huset for interesserede besøgende, og hun skrev også en bog ("Mit gamle Hjem") om gården og slægten, som levede der.

Da Kirsten Nielsen døde i 1959, prøvede lensgreven, Knud Holstein-Ledreborg, at skaffe afløsere ved at avertere i dagspressen. Det lykkedes, især i anden omgang. Valborg Jensen passede og viste huset frem som i Kirstens tid til sin død i 1994.
I dag drives huset af Lejre Museum, hvis støttemedlemmer passer huset og haven, medens kommunen ejer grunden og bygningen. Det lille unikke museum er omgivet af en bondehave fra 19. århundrede med krydderier, farver, dufte og medicinplanter.
Se også: Lejre Museums side om Gl. Kongsgaard