Utvrde grada Senja bile su opsežne, a mjestimično su i danas sačuvane, a njihovo se postojanje može pratiti sve od kraja 13. stoljeća. Grad se tijekom stoljeća štitio, a zidine mjestimično rušile i nove zidale i poboljšavale. Početkom 15. stoljeća popravljane su zidine Senja, čini se ozbiljnije, jer se za te potrebe uvode posebni porezi. Nakon oduzimanja grada od krčkih knezova utvrde se pojačavaju, a kralj Vladislav 1498. godine u listini dopušta da se dohodci tridesetnice iskoriste za popravak zidina, što je iznosilo godišnjih 60 do 70 forinta. Poslije bitke na Krbavskom polju Senjani traže i dobivaju pomoć od pape Aleksandra III., te se pomoću njegove pomoći poboljšavaju senjske utvrde.

Sačuvani potezi zida na sjeverozapadnoj strani Senja, od kule Lipice do Leonove ili Papinske kule, čini se da su građeni tijekom 15. stoljeća. Najbolje je sačuvana zidina između kule Lipice i Rondela, sa zazidanim kruništem i tragovima ležaja drvene galerije uz krunište.  Zidina je relativno tanka – tek oko 90 centimetara u podnožju, tako da je bilo potrebno izvesti drvenu konzolnu konstrukciju za ophodnju stražara i obranu. Drvene galerije više nema, ali su nam tragovi na unutrašnjoj strani zida još do prije nekoliko godina mogli biti ključ za pretpostavljeni izgled. Zid je u međuvremenu saniran, a tragovi galerije negirani. Razabirala su se dva reda rupa od ležaja drvenih konzola i ispod njih mjesta upiranja drvenih kosnika koji su podupirali konzole. U viši niz rupa bile su ugrađene tanje konzolne grede od 10 do 12 centimetara i na nešto većem razmaku oko 120 centimetara, dok su konzole galerija bile postavljene na razmak od oko 70 centimetara. Svaka druga konzola galerije bila je poduprta kosim potpornjem s jednostavnim ležajem na zidu. Zupci kruništa i razmaci među njima, viziri, odnose se u omjeru 2:1. Svaki zubac kruništa ima još omanji otvor za promatranje i nešto je tanji u odnosu na zid (65 – 70 centimetara). Poslije su razmaci među rupcima bili zazidani, ali se to nedavno obnovilo.

Dio zidina između kula Lipice i Rondela vjerojatno je nastao tijekom druge polovice 15. stoljeća nakon što je kralj Matija Korvin oduzeo Senj knezovima Frankopanima. Dio zidina od Rondela do Leonove (Papinske) kule građen je nešto kasnije sudeći po činjenici da nije izvedeno krunište i da su ostavljeni samo otvori za djelovanje samostrijelom odnosno puškom. Leonova ili Papinska kula prizidana je uz već postojeći ugao na zidinama Senja početkom 16. stoljeća, dakle i potez je građen nešto prije ove kule, to jest krajem 15. stoljeća.

U gradskim zidinama je izgrađeno desetak kula, a Martin ih Stier 1660. nabraja čak trinaest (Šabacturm, Našaturm, Meraturm, Philippsturm, Schlossturm, Turašturm, Der guldene Turm, Salapanoturm, Trybenchruem, Papstturm, St. Prossyturm, Turinaturm, Schiffturm). Najveću utvrdu u zidinama dao je izgraditi papa Leon X. početkom 16. stoljeća, još i prije pojave uskoka, pa se po tome kula zove Leonova i Papinska. Pape su držali grad Senj vrlo važnim za obranu Italije, tako je Leonova kula izgrađena od najboljeg materijala i bila je najljepša, najjača i najveća, a u njoj su pape uzdržavali i posadu od dvadeset pet vojnika.  Najstarije nazive kula spominje Lopašić u Spomenicama Hrvatske Krajine gdje nalazimo gotovo sama hrvatska imena. Na sjeveru: Lipica, Rondel i Leonova kula. Na zapadu je bila: Barutana, Lađarska kula, Gatska kula i kula Šabac. Na južnoj strani: Zvančić i Tulac.

Veliku važnost za obranu grada imao je i gradski kaštel koji je tijekom svoje povijesti mijenjao ulogu počevši od srednjovjekovnog kaštela, preko vojnog sjedišta, humanitarnog đačkog zavoda „Ožegovićianum“ do posve raznih poslijeratnih sadržaja. U 13. i 14. stoljeću na najugroženijem uglu obrambenih zidina prizidavaju se prema gradu zidine unutar kojih se stvara prostor za buduću građevinu. Unutar tih zidina prigrađuju se pojedini elementi koji će na kraju rezultirati stvaranjem kaštela: sala, kapelica, stambeni dio i ostali dijelovi. Svi ti elementi s vremenom mijenjaju svoje dimenzije, neki i položaj, tako da se u početku prizidavaju samo uz jedan zid, a kasnije uz sve zidove sa unutarnje strane. Ivan Lenković je stariju kulu kružnog tlocrta pregradio, prema tadašnjim zakonima suvremene fortifikacije, u trokutnu od koje će se kasnije razviti sam kaštel.