Na jednoj od sedrenih terasa u gornjem dijelu suvremenog naselja Zagrebački kaptol je sagradio utvrdu oko treće četvrtine druge polovice 14. st. u svrhu zaštite istoimenog vlastelinstva. U dokumentima kaštel nalazimo 1376. kao kaštel protiv čije se gradnje buni toplički župan. Sve do 17. st. nemamo informacije o izgledu utvrde, no tada je ona trošna i zastarjela zbog čega ju Zagrebački kaptol 1617. obnavlja i proširuje u tolikoj mjeri da se u izvorima više ne biljezi kao kaštel, već kao tvrđava (arcis Toplicensis). Upravo su ratovi s Osmanlijama tijekom 16. i 17. stoljeća „zaslužni“ za utvrde oko samog kaštela koje su znatno povećane te se grade još dvije nove kule, jedna na istočnoj, druga na zapadnoj strani, dok su oko utvrda iskopani jarci i podignuti nasipi. Utvrda je imala tri ugaone kule i jedan ulaz u sredini sjeverne strane, a između kula i crkve tekao je visok zid s dvostrukim nizom puškarnica na kojemu je s unutarnje strane stajao drveni obrambeni hodnik u koji se prilazilo iz kula. Početkom 16. stoljeća dograđen je uz ovaj još i drugi unutarnji zid pa je tako nastalo više prostorija stanovanje i spremišta, koje su imale drvene stropove. Pokretna vojska koja je držala straže po gorama, putovima, riječnim prijelazima te prenosila poštu bila je sastavljena od 150 konjanika i 176 pješaka. Konjanici su boravili između Varaždina i Rakovca, a pješaci, haramije u Toplicama, Remetincu, Apatovcu i Topolovcu. Utvrda je zadnji put je obnavljanja zbog osmanske prijetnje 1695. usred Bečkog rata (1683. – 1699.) o čemu svjedoči natpis iznad glavnog ulaza u kaštel, da bi sredinom narednog stoljeća bila dovršena barokna pregradnja u rezidenciji kaptolskog upravitelja topličkog vlastelinstva pod nazivom Stari grad. Time se kaštel transformirao u barokni dvorac, a nakon rušenja nasipa i zatrpavanja jaraka u 18. st. potpuno nestaje srednjovjekovni fortifikacijski karakter. Nakon barokne pregradnje, ona dobiva konačni izgled jednokatne palače s tri krila, tlocrtno u obliku slova U, koja je s juga zatvorena župnom crkvom sv. Martina. Kaštel je izvorno građen kamenim blokovima, a kasnije su pregradnje izvedene opekom.  Današnji izgled dobiva u 19. st. historicističkom obnovom koja većim dijelom negira njegovu dotadašnju obrambenu arhitekturu. Tako je dočekala i II. svjetski rat u kojem stradava 1943. da bi poslije rata bila obnovljena, a 1949. u u nju je smješten današnji Zavičajni muzej Varaždinske Toplice. Stari grad je uz manje prekide bio pod upravom Zagrebačkog kaptola te je kompleks sačuvan odlično unatoč brojnim pregradnjama koje su poništile prethodne građevinske faze.

Utvrda se nalazi u samom središtu grada, na dugačkoj i uskoj trokutastoj sedrenoj terasi vrhom okrenutim istoku. Sa zapadne i južne strane omeđena je strmim padinama, tako da je pristup bio najlakši sa sjeverne strane koja je ujedno i najutvrđenija u kompleksu o čemu svjedoče četiri kule. Cijeli kompleks pruža se smjerom zapad-istok oko 111m, dok mu najveća širina u smjeru sjever-jug iznosi 46m. Toplički grad je kao i većina zagorskih utvrda nastao kroz nekoliko razvojnih faza. Najstariji i najbolje očuvani dio je unutrašnja utvrda ili jezgra nepravilnog trapezastog tlocrta dugačka u pravcu zapad – istok 44m i široka u pravu sjever-jug 46 m. Sastoji se od jednokatnog dvorca čija baroknim arkadama rastvorena krila zatvaraju sa sjeverne, zapadne i istočne strane manje unutrašnje dvorište istog oblika, dok ga s južne strane omeđuje barokizirana kasnogotička župna crkva sv. Martina. Od nekadašnjih obrambenih instalacija jezgre sačuvani se sjeverni te manje zapadni i istočni bedemi, dvije masivne kule kvadratnog tlocrta u SI i SZ uglu kompleksa, a moguće još jedna manja na južnom završetku istočnog krila, danas vidljiva kao manji aneks tog krila te velika ulazna kula pravokutnog tlocrta, podignuta posred sjevernoga bedema. Do polovice 18. st. vratima ulazne kule pristupalo se pokretnim mostom preko obrambenog nasipa i grabe kroz koji se u slučaju potrebe kanalima dovodila termalna voda iz nedalekog izvora. Navodi se da je cijeli kompleks bio opasan obrambenim nasipom i jarkom, ali zbog konfiguracije terena izglednije je da su se oni nalazili samo ispred njegove sjeverne fronte te uz zapadni i istočni ugao kompleksa, odnosno na onoj strani utvrde odakle je neprijatelj ratnim spravama mogao najlakše pristupiti bedemima. Neovisno o veličini i izgledu tih fortifikacija one su postojale do 1752./3. kada su pri baroknoj obnovi uklonjene. Sudeći prema kaptolskim inventarima topličkog Starog grada iz 16. i 17. st. te katastarskom nacrtu iz 1861. najstariji stambeni dio jezgre bio je sjeverno krilo u kojem se 1642. nalazila soba ili komora za skladištenje ratnog materijala i oružja, kaštelanov stan na prvom katu ulazne kule, nekoliko manjih soba lijevo i desno od njega te podrumske prostorije, od kojih se dvije navode kao gornja i donja tamnica. Sudeći po današnjem stanju, vrlo je izgledno da se prvobitni rezidencijalni dio topličke utvrde sastojao od stambenih prostorija u gornjim katovima kula te u manjim stambenim krilima stisnutim između njih, a oslonjenim na unutrašnje lice sjevernog bedema. S istočne strane na jezgru se naslanja vanjska utvrda, sjeverni i južni bedemi koje opasavaju veliko unutrašnje dvorište u obliku nepravilnog trokuta vrhom prema istoku. U istočnom vrhu trokuta je kvadratna kula (basta ad orientem), dimenzijama i oblikom gotovo identična ugaonim kulama jezgre, koja je početkom 18. st. pregrađena u stambenu građevinu i ponovno adaptirana u prvoj polovici 20. st. U kasnijim pregradnjama utvrde, sjeverni bedem u cijelosti je porušen te je tamo podignuta zgrada „Novog zdanja“, jedna od zgrada lječilišnog hotela u kojoj su danas banka i kino, dok se južni polukružni bedem sačuvao u cijelosti u dužini. Poslije je na njemu podignuta manja polukružna građevina sa stanovima kaptolskih službenika.

Toplički Stari grad svrstava se u skupinu visinskih plemićkih gradova kaštelne osnove (srednjoeuropski kaštel), koji se grade za zaštitu naselja tijekom kasnog srednjeg vijeka (13.-15. st.) u razdoblju kasne gotike, a koji je tijekom 16. st. bio znatno pregrađen i proširen u duhu renesansnog obrambenog graditeljstva.