Utvrda je u njihovom posjedu sve do 1478. kada umire Petar koji ju ostavlja sestri Ani, udovici Nikole IV. Kaštelanovića. Bisag je od 15. st. najbitnije obrambeno uporište uz Lonju, a u 16. i 17. st. je kastrum u kojem se odvija intenzivan život. U rukama Kaštelanovića ostaje sve do 1620. godine, kada umire Ivan VI., posljednji muški potomak obitelji. Za vrijeme uprave navedene obitelji Bisag je u sastavu Zagrebačke kapetanije Slavonske krajine te ima istaknutu obranu u vrijeme osmanske agresije. Nakon navedenog razdoblja hrvatsko – ugarski kralj Ferdinand II. daruje Bisag svom komorniku i kasnije hrvatsko – dalmatinsko – slavonskom banu Jurju V. Zrinskom. Njegovi potomci vladaju sve do Zrinsko – frankopanske urote 1671. kada ga preuzima Kraljevska komora kao što je bio slučaj i s ostalim posjedima Zrinskih. Uskoro dolazi u posjed plemićkih obitelji Gereczy de Gerecz i Rattkay, nakon čega ga u nepoznatim okolnostima nasljeđuje Baltazar Patačić iz grofovskog ogranka te obitelji. U rukama njegovih potomaka Bisag je do 1746. kada je prepušten Antunu Jankoviću u zamjenu za njegov udio na posjedu Martijanec. Za Jankovićeve uprave nad Bisagom upravitelj (špan) Bisaga je Blaž Kadoić koji je u vrijeme seljačke bune 1755. bio na čelu lonjske skupine ustanika te je 2. ožujka zaposjeo Bisag. Pobunjeni seljaci pale većinu plemićkih kurija u okolici, ali je sam Bisag ostao pošteđen jer je čuvan „za svetlu Kralicu“ (Mariju Tereziju) iako prema Krčeliću se navodi kako Bisag nije spaljen jer su osamnaestorica susjednih plemića jednoselaca gotovo bez borbe rastjerali ustanike koji su tih dana pijančevali. Regan misli kako je uzrok toj „poštedi“ Bisaga težnja da ustanici ovladaju čvrstim uporištem iz kojeg bi pružali otpor. Kako bilo, 4. ožujka Bisag je prepušten kraljevskoj vojsci pod vodstvom podbana Raucha koji organizira prijeki sud gdje ubija Kadoića, a Bisag vraća pravom vlasniku, Antunu Jankoviću. Nakon njegove smrti 1765. Bisag je u vlasništvu kćeri mu Ane, supruge Franje I. Draškovića čiji potomci stoluju tamo sve do 20. st. kada ga Ivan IX. I supruga Julija Erdody prodaju Mađarskoj hipotekarnoj banci. Nakon toga slijedi parcelizacija i prodaja imanja. Prvotno dvorac kupuje Prva hrvatska štedionica, zatim poduzetnik Grošinić koji pregrađuje zapadno krilo, dok je ostala krila s kulama sravnio sa zemljom te dobivenim materijalom ispunio obrambene grabe. Dvorac je potom u vlasništvu Josipa Hadrovića iz Visokog koji ga 1932. prodaje Milanu Begoviću koji tamo boravi do 1943. kada seli u Zagreb, a Bisag ostaje prazan do 1945. kada ga zaposjedaju i pale partizani. Unatoč inicijativama obnove, utvrda je propala, a ostatke je domaće stanovništvo koristilo kao građevni materijal. Ruševine se nalaze u sklopu plemićkog kompleksa koji uz ostatke čine još nekadašnje gospodarske građevine sjeverno od pristupne ceste. Položaj utvrde bio je na umjetnome zemljanom uzvišenju nastalo kopanjem dubokih obrambenih graba koje se danas vise s istočne i južne strane. Utvrda je u prvoj polovici XVIII. stoljeća pregrađena u četverokrilni barokni dvorac, na temelju današnjih ostataka te slikovnih izvora znamo da je to bila manja utvrda kvadratnog tlocta s unutrašnijm dvorištem za čiju su obranu podignute četiri okrugle ugaone kule različitih veličina te posred istočnog bedema visoka kula kvadratnog tlocrta s ulaznim portalom u prizemlju kojem se prilazilo drvenim mostom. Veličina Bisaga s kulama iznosila je približno 36×16 m te se u tom obliku održao do prve polovice 18. st. kada je dogradnjom stambenih krila uz nekadašnje bedeme pregrađen u baroknom duhu u četverokrilnu rezidenciju. Zapadno i južno krilo s južnom polovicom istočnog krila imali su tri razine dok je sjeverna polovica istočnog krila te sjeverno krilo imalo dvije razine. Za vrijeme barokne obnove na zapadni bedem dograđena kapela s peterokutnim svetištem i tornjićem ukrašena freskama, dok je za vrijeme uprave Draškovića između kapele i jugozapadne kule podignuta altana te je uređen perivoj oko dvorca.

Dokumenti 16. st. spominju Bisag kao plemićki grad (castrum) i kaštel (castello Bykzad), a svrstava se u skupinu nizinskih renesansnih kaštela talijanskog tipa koji se grade tijekom kasnog srednjeg vijeka i renesanse. U središtu Bisaga nalazi se i crkva sv. Marije Magdalene, oko 1,5 km od ruševina utvrde/dvorca s kojima je činila dio bisaškog vlastelinstva. Ona se prvi put spominje 1409. u naslovu njena župnika, a 1501. u popisu župa Zagrebačke biskupije. U vrijeme borbi s Osmanlijama u 15. i 16. st. zbog dobrog strateškog položaja u dolini Lonje utvrđena je zvonikom te tako pretvorena u sigurno pribježište lokalnom stanovništvu i važnu postaju za nadzor kretanja doline Lonje. Bisag je uz Novigrad na Savi, Hrastilnicu, Rakovac, Lovrenčinu, Čejnovu i Hum bio jedan od 7 utvrđenih mjesta pod upravom kapetana kraljevskih vojnih snaga sa sjedištem u Zagrebu kao jednom od glavnih utvrđenih mjesta obrane slavonskog graničnog polozaja. Godine 1576. ove utvrde od vatrenog naoružanja imale su 2 veća topa, 4 topa srednjeg kalibra, 3 manje oštećena topa, 11 malih zeljenih topova, 124 puške, 37 ručnih pušaka, 40 centi baruta 1 funtu i 11 centi olova i 200 dugih kopalja. Prestankom opasnosti krajem 17. st. gotička crkva je obnovljena u baroknom stilu. Zvonik se ističe kao visoki toranj kvadratnog tlocrta s dvama ugaonim potpornjacima koji svojom masivnošću i zatvorenosti ukazuju na obrambenu funkciju građevine. Kompleks župne crkve po funkciji se svrstava u skupinu protuosmanskih pribježišta koja se na ovom području podižu od druge polovice 15. pa sve do 17. stoljeća, dok njegov zvonik predstavlja renesansi tip kule – zvonika s prolazom koji je braniteljima omogućavao aktivnu obranu ulaza u crkvi i lakši pristup zvonu kojim se zvalo za uzbunu. Sama utvrda glasila je kao najvažniji burg uz Lonju u 15. stoljeću te se sukladno u njoj u naredna dva stoljeća odvijao intenzivan život. Bio je to nizinski grad četverokutnog tlocrta s cilindričnim kulama na uglovima i opkoljen šančevima. Postupno se pretvorio u dvorac. Bisag je početkom 20. st. posjetio Gjuro Szabo koji o njemu piše: „Od starog se sredovječnog grada sačuvalo tek nešto malo: donji dio ulazne kule, koja je kasnije znatno povišena. Četiri okrugle kule razne veličine smještene su na četiri ugla gradska, no sve je to kasnije modernizirano. Na istočnoj je strani prizidana gradska kapelica. Oko grada bio je dubok šanac, pa se drvenim mostom dolazilo preko njega do ulaza“. Grad je imao četverokutnu osnovu s cilindričnim kulama na uglovima, a bio je okružen obrambenim jarkom. Na katastarskom planu 1861. vidi se da su sjeverno bile gospodarske zgrade, južno perivoj, a istočne strane most preko obrambenog jarka.  Poslije 1918. grad je porušen i neispravno restauriran, a u togu Drugog svjetskog rata stradava od požara. Dvorac je danas evidentiran kao spomenik kulture.