Původně se však jednalo o větší tvrz s vlastní kaplí a dvorem. Podrobnější, byť relativně kusé informace o podobě tvrze pochází z dolnobřežanského urbáře z let 1580-1603, tedy až z doby těsně před její přestavbou na honosnější zámek: „Břežany jest od kamení i jinak vystavěná, nadýli i cihlami krytá. A v též tvrzi jsou pokoje, v kterýchž se dobře volně bydleti může. Od světnic, komor, sklepů pod zemí i nad zemí, marštalí, to všeho drahně.“ Podle tohoto zápisu byla tvrz poměrně velká a bytelně vystavěná. Alespoň částečně o její podobě vypovídá zachované zdivo severního křídla a západní věž. Důležitou informaci přináší sdělení o existenci studny uvnitř tvrze a také vodního příkopu, jenž stavbu obklopoval a byl napájen vodou z kašny. V příkopu se chovaly ryby, ale z textu plyne, že již dlouho nebyl vyloven.
Ve dvoře byly dvě ratejny s komorami pro skladování obilí, komora pro odchov mladých slepic, lednice, chlév, pekárna, maštal a další hospodářské budovy, je pravděpodobné, že půdorys zůstal zachován, ovšem není zcela možné určit přesné prostorové vymezení. Zápis dále zahrnuje polnosti a louky a jejich výnosnost, dvě štěpnice, zeleninovou zahradu a chmelnici. Zatímco zahrady není těžké lokalizovat, neboť přetrvaly hluboko do novověku, chmelnice je situována jednoduše „za samou ves“. Na konci 16. století existoval již také pivovar se sladovnou, ve kterém se vařilo pšeničné pivo každý týden. Důležitou je poznámka o vedení vody dubovým potrubím od pramene k pivovaru. Tento pramen měl zásobovat jak pivovar, tak onu kašnu ve dvoře. Pramen nese jméno Klizerda (či Klizerdy) a nachází se několik stovek metrů jihozápadně od obce, u silnice do Zlatník. Citovaný urbář uvádí vlastní studnu, nejpozději v 19. století však byla využívána i studánka Vojtěška ležící v zámeckém parku. O tom, že oblast byla bohatá na vodní zdroje, svědčí konečně i samotný název vsi jako místo na břehu či na březích.
Tvrz byla přestavěna za Kryštofa Želínského ze Sebuzína, jenž břežanské panství spravoval od roku 1590 do své smrti v roce 1606. Kromě kamenného zdiva se z původního sídla zachovala pouze náhrobní deska Všeslava Liběchovského z Liběchova, kdysi vsazená ve zdi průjezdu, nyní volně opřená o zeď. Pravděpodobně ztracenou památkou naproti tomu je zřejmě znak Želínských v mramorové volutové kartuši z 1. poloviny 17. století.
Rod Želínských vymřel po meči a dědička statku – teta posledních mužských potomků – Polyxena z Donína byla nucena kvůli dluhům panství prodat Pavlu Michnovi z Vacínova, a to v roce 1627 – v době třicetileté války. O tom, že Břežany byly válkou patrně dost poškozeny, svědčí zápisky neznámého hejtmana panství z roku 1649. Předně musel nechat opravit sádky zničené vojáky a opravit rybniční hráze. Zkáze neušly ani další hospodářské budovy, dle popisu zejména ovčín. O stavu zámku se hejtman bohužel nezmiňuje. Mezi lety 1678 a 1683 patřily Břežany hraběti Jiřímu Ludvíku ze Sinzendorfu a památkou po něm jsou znaky jeho a manželky Doroty Alžběty Holštýnské v kartuši dochované na jižní stěně průjezdu. Původní nízký průjezd byl zvýšen probouráním podlahy místnosti nad ním – kromě erbů nad pozůstatkem krbu se dochoval ještě původní ornamentální štukový strop z konce 18. století.
Z doby mezi lety 1750-1800 pochází rovněž dva prameny s přímým vztahem k zámku – a sice Josefský katastr a tzv. 1 vojenské mapování. Ačkoli toto kartografické dílo je třeba brát s rezervou, přesto je zřetelně vidět jednoduchý půdorys zámeckého objektu, uzavřeného hospodářského dvora, domků hlídače a zahradníka a také štěpnic a zahrady, jež v té době dosahovala pouze k jižní hospodářské budově. Josefský katastr popisuje „vrchnostenský zámek spolu s připojeným panským dvorem, též s zahradnickým a vrátného bytem“ a dále pět menších zahrádek, dvě štěpnice a kuchyňskou zahradu u zámku.
První polovina 19. století je obzvláště bohatá na mapové, ale i písemné prameny – je to především stabilní katastr a s ním související použité císařské otisky z roku 1841, hospodářské plány dvorů z roku 1837 a z léta 1850 pak plán Dolních Břežan. Charakteristickým rysem dvora je v plánech jeho kompaktní obdélníkový tvar s rybníčkem uprostřed – patrně se jedná o zbytek původního příkopu, mezi roky 1837 vznikla nová menší hospodářská budova sousedící s vodní plochou uprostřed dvora.
Budovy umístěné severozápadním cípu zámeckého areálu popisují inventáře z let 1811 a 1814 – v levém domku bydlel zahradník, pravou část tvořil skleník. V roce 1814 zde rostlo přes čtyři desítky pomerančovníků a podobný počet citroníků. Další tropické ovoce se pěstovalo v tzv. ananasovém domě, patrně v další části budovy skleníku – zde úředník napočítal v onom roce tři sta kusů ananasů. U zámecké zahrady a parku došlo zjevně k výraznějším změnám. Zatímco totiž na konci 30. let končí areál zahrad těsně za kamenným altánkem zhruba v úrovni podélné hospodářské budovy, císařský otisk již vyznačuje rodící se anglický park protkaný sítí cest. Plán z poloviny století detailně vykresluje další prodloužení parku jižním směrem o několik stovek metrů a jedinečně zaznamenává rozvržení plochy parku a drobné stavby, včetně vojtěšské studánky. Kromě ruin altánku a pramene se dodnes nic nezachovalo.
Zámek ve 20. století
Příslovečné období slávy zažil zámek 13. července 1919, kdy se zde konala schůze ministerské rady, o měsíc později zde byl u arcibiskupa Kordače na návštěvě prezident Masaryk. Od 13. 6. 1919 v zámku sídlilo italské velvyslanectví. Významným mezníkem pro zámek byl rok 1948, ostatně jako pro mnohé památky na našem území. Znárodnění s sebou mimo jiné přineslo přísnou katalogizaci movitého i nemovitého majetku. Budova měla v té době třicet šest obytných místností, přičemž tři z nich byly využívány jako dětská opatrovna. Inventář kanceláří podrobně zaznamenává nábytek, počet kancelářských pomůcek, knihy a jelení parohy.
Z dalších staveb je popsána vrátnice, skleník s obydlím zahradníka (ve špatném stavu), zděný šestiboký pavilon v parku (v dobrém stavu), studna zděná pálenými cihlami, nedaleko zámku stojící pivovar a špýchar (stav „velmi špatný“). Dle popisu měl být zámecký park upraven jako anglický s množstvím významných stromů (javorů, platanů, dubů, buků ad.). K hospodářskému zázemí patřila také zelinářská a ovocná zahrada se seníkem, kolna, konírny, stáje s řezárnou a kovárnou.
Po znárodnění se ve „správě“ objektu střídaly různé instituce - mezi červencem 1949 a listopadem 1959 ministerstvo zemědělství, poté asi rok ministerstvo národní obrany, po něm do 30. 6. 1992 ministerstvo vnitra. V letech 1974/76 byly za východní zdí parku postaveny ubikace a cvičné prostory pro příslušníky ministerstva vnitra, pohotovostní pluky a „červené barety“. Zámek byl v rámci restitucí navrácen církvi římskokatolické. Působení výše uvedených vlastníků někdejší panské sídlo dehonestovalo na pouhou centrální budovu vojska. V zahradě a částečně parku byla postavena benzínová pumpa, garáže, sklady, střelnice, psinec, ubikace….