Kada je 1551. godine carski dvor osigurao sredstva, Lenković je započeo na 62 metra visokom brdu Nehaj graditi dugo očekivanu „fortecu.“ Odobrenjem vojnih i crkvenih vlasti Lenković je za izgradnju dao porušiti sve javne i crkvene zgrade izvan gradskih zidina i od obrađenog kamena iz ruševina završio gradnju utvrde Nehaj do 1558. godine. O upotrebi materijala srušenih objekata svjedoče brojni kameni spomenici – spolije (natpisi, reljefi te profilirani nadprozornici i nadvratnici) od kojih je dio vidljiv u zidovima tvrđave.

Izražajnost njegove mase postavlja ga uz bok s drugim istaknutim renesansnim fortifikacijskim spomenicima poput Velikog Tabora i dubrovačke Minčete. Kockasta masa Nehaja s nekim neuobičajenim pojedinostima izmicala je jasnim tipološkim određenjima pa je jednom nazvan kulom, a drugi put tvrđavom.

Sam naziv Nehaj dolazi od pojma Ne hajati, što bi danas moglo značiti Ne brini ili Ne mari. Utvrdu su nazvali sami Uskoci koji su tim imenom nastojali naglasiti građanima grada Senja, ali i onima koji su živjeli u blizini, da se ne brinu ili da ne mare da će netko osvojiti brdo i utvrdu dok je god oni brane, što se na kraju obistinilo.

Nehaj u tlocrtu ima kvadratni oblik (23,25 x 23,50 m), a smješten je pravilno prema stranama svijeta dok mu ulaz gleda na sjever. Ima blago skošen zid pročelja na čijem su uglovima izvađeni erkeri i još jedan se nalazi nad ulazom. Erker je izbočena i povišena prigradnja na pročelju ili uglu kuće ili kule, redovno bez potpornja. Katkad se erker može protezati kroz nekoliko katova. Visina utvrde je 18 metara. Na svim uglovima i iznad ulaza postavljene su posebne promatračke kule koje su isturene iz linije fasade, a počinju otprilike iz drugog kata. Promatračnice su povezane posebnim grudobranom, a na južnoj strani je izveden mali zahod. Za gradnju se upotrijebilo tri različite vrste kamene građe: u najdonjem sloju je lokani krški vapnenac, zatim pravilno klesani kamen od razgrađenih samostana i crkava, a najviši sloj se sastoji od više različitih vrsta i oblika kamena. Debljina zidova iznosi 3,20 metara u prizemlju, a prema vrhu se suzuje na 2,50 metara dok su zidovi prema dvorištu debljine jednog metra. U zidovima se nalazi preko sto puškarnica i jedanaest velikih otvora za topove, dok sami zidovi završavaju s kruništem na kojem je pet malih ugaonih kula.

Utvrda ima četiri etaže, prva leži povišeno na djelomično nasutom podnožju. Ulaz u utvrdu smješten je upravo na toj povišenoj etaži, što pridonosi samoj sigurnosti tvrđave. Ulaz u utvrdu je u početku bio omogućen ljestvama jer iz 1563. godine potječe navod kako bi trebalo sagraditi stubište i most, a tada je utvrda već bila dovršena. Iz Pieronijeva presjeka iz 1639. godine vidimo kako je kasnije napravljeno pristupno stubište, no usprkos tome ne možemo naći dokaza za bilo kakav most ni iz snimaka ni na samoj kuli. Središnji prostor utvrde zauzima malo dvorište s grlom cisterne iskopane ispod same utvrde. Svaka strana utvrde opremljena je sa dvije „hlačaste“ strijelnice. Te su strijelnice omogućavale upotrebu triju pušaka, a da nisu oslabile čvrstoću samog zida. Stubište je jednokratno i usko te je smješteno u debljini zida, iznad ulaza.

U prizemlju je s desne strane bilo smješteno ognjište, a uokolo prostorije za smještaj i oružje. Namjena je bila za stanovanje posade, o čemu nam svjedoči i nekoliko povijesnih opisa. Prilikom kasnije obnove utvrde nađeni su, paralelno s ulazom, temelji neke starije crkve na visini od 0,50 metara sa dimenzijama 10,25 x 5,75 metara. Sačuvan je njen jasan pravokutni tlocrtni oblik sa širokom polukružnom apsidom i donjim dijelom oltara u njoj. Osmanlije su do 1522. godine među ostalim porobili i spalili crkvu i samostan sv. Jurja kao i franjevaca. Moguće je da Lenković gradi kulu upravo na mjestu crkve sv. Jurja. čije ostatke ostavlja u prizemlju same utvrde.

Prvi kat je razdijeljen snažnim pregradnim zidovima koji prate strukturu manjih kvadratnih dijelova. Na prvom katu su bile prostrije za časnike i zapovjednika tvrđave. Iznimka je sjeverni dio koji je ostao nepodijeljen zbog lakše i brže komunikacije stubištem. Kao i u prizemlju na svakoj stranici utvrde bile su po dvije strijelnice koje su istog tipa, ali drugačije izvedene.

Drugi kat obuhvaća jedinstven i nepodijeljen prostor što je bio namijenjen postavi topova. Na ovom katu svaka strane je bila opremljena sa tri visoke topovske strijelnice, osim nad ulazom gdje su bile dvije. Na katu se nalazilo jedanaest topova. Na uglovima su izvedeni erkeri, u čije je dvije etaže omogućen prilaz s tog kata. Svaki erker ima bočne otvore namijenjene za nadzor pročelja i frontalne otvore, vrhovi erkera spretno su ispunjeni s masom zida, radi jačeg učvršćenja kod udarca projektila.

Utvrda je pokrivena s jednovodnim krovom, a sa četiri plohe se voda slijeva u cisternu. Vrhom širokog vanjskog zida prolazi hodnik odakle je također moguć pristup erkerima. Ogradni zid je opremljen nizom uskih strijelnica. Vrh tvrđave je služio kao vidikovac, ali je također bio opremljen nizom puškarnica. Kaštel nema izvana vidljiv krov, kose krovne plohe nalaze se zapravo u razini drugog kata spuštajući se prema središtu građevine. U drugim slučajevima uobičajena renesansna koncepcija podrazumijevala je mogućnost da gornji dio građevine završi ravnom terasom, koja je opet mogla poslužiti za postavu topova. S obzirom na visinu i opisanu krovnu postavu Nehaj je blizak starijim tipovima utvrda što su imale unutarnje skošene krovne plohe. Takve su kule južne Italije, francuski donjoni, engleski keepovi sve do gotičkih kaštela u Italiji.

Nevelika duljina stranica i zbijenost same utvrde ostavlja mali prostor za dvorište. Zatvoreni prostori dimenzionirani su s obzirom na potrebe boravka ljudstva, odnosno topova, pa je dvorište zauzelo tek jednu devetinu ukupne raspoložive površine. U dvorištu iznad cisterne nalazimo tri grba. Lijevi je grb senjskog kapetana Ivana Lenkovića s uklesanom godinom 1558. i njegovim inicijalima H i L, u sredini je grb austrijskog nadvojvode Ferdinanda I. Habsburškog, a desno Lenkovićeva nasljednika na časti kapetana Herbarta VIII. Auersperga Turjaškoga.

Volumenske osobine Nehaja su često stvarala problem u pogledu tipološkog svrstavanja ove utvrde. Nehaj se doima kao kompromis kule i kaštela, jer je odviše prostran da bude kula, a proporcijski odviše visok da bude kaštel, no trebali bi smo ga nazivati kaštelom zbog svog unutarnjeg dvorišta koje čini jednu od temeljnih kompozicijskih i funkcionalnih pojedinosti te tvrđave. Upravo zbog te prisutnosti dvorišta valja odbaciti naziv kula (lat. turris, toranj) koja podrazumijeva propocionalno visoku građevinu, veće visine nego širine i podignutu na maloj površini. Naziv kaštel dolazi od latinskog castellum (umanjenica od castrum) i taj naziv dobro posreduje baštinu pravilnih četverokutnih vojnih građevina sa slobodnim središnjim prostorom.

Temeljna značajka samog Nehaja je da nema uglovnih kula. Njegova masa je kompaktna upravo zato što nije razvedena uglovnim kulama i volumenima. Kako bi zadovoljili zahtjev napada s boka to jest bočne horizontalne obrane podnožja, radile su se uglovne kule odnosno bastioni. Da je napad s boka u to doba bio iznimno važan pokazuju i Lenkovićevi zapisi i prijedlozi za poboljšanje senjskih i drugih utvrda, koji često promoviraju potrebu bočne obrane duž ravnog poteza zida. Zadaću obrane od napada s boka, koju bi imale uglovne kule, preuzimaju erkeri. Druga posljedica izbacivanja uglovnih kula odnosi se na smještaj topova. Njihov tradicionalan smještaj bio je upravo u tim kulama koje su bile prilagođene upotrebi samih topova, odakle su mogli dobro nadzirati okoliš utvrde. U Nehaju su topovi smješteni duž stranica kaštela, a radi boljeg nadzora okolnoga prostora, rubne, to jest vanjske niše ukošene su prema uglovima utvrde. Valja istaknuti kako je upotreba topova u Nehaju bila ključna, jer je sama utvrda sagrađena kako bi nadzirala same prilaze gradu stoga je trebala biti opremljena oružjem velikog dometa. Smisao utvrde Nehaj nije bila kako bi branila samu sebe nego joj je primarni zadatak bio obrana grada Senja. Važna osobitost Nehaja je njegova visina. Same četiri etaže počivaju na uzvišenom podnožju. Samo na jednoj etaži su bili topovi dok su druge bile namijenjene za uporabu lakšeg oružja i prema tome služe za obranu bliskog okoliša samog Nehaja. Sam broj puškarnica nam može otkriti opasnost od brzih neprijateljskih prodora do samih zidina Nehaja, jer uokolo nema nikakve zaštite u obliku jarka.

Topovi su lijevani od znamenite obitelji ljevača zvona i topova Layminger od strane mlađeg sina te obitelji: Filipa Layminger. Iz Filipovog izvještaja možemo iščitati kako je napravio od polomljenih topova dva falkona i tri falkoneta. Prilikom raspuštanja posade Nehaja i tijekom Prvog svjetskog rata bila je sakupljena sva raspoloživa bronca i reciklirane topovske čahure i čahure puščanih metaka. Tako nam od prvih topova u Nehaju nije ostalo ništa sačuvano.