Sudeći po nazivu i popisima poreza iz 15. st. kao samostan pavlina gradi ga zagorski grof Ivan Vitovec, a u izvorima se prvi put spominje 1467. u nj pismu papi Pavlu II. u kojem ga moli da posjetiteljima crkve i samostana podijeli oproste. Zbog izdaje Vitovci 1488. gube Zagorsku grofoviju (posljedično i grebengradsko vlastelinstvo) njegovi novi gospodari postaju Ivaniš Korviš i Beatrica Frankopan koji kompleks dovršavaju (postoje teorije o tome tko je prije franjevaca tamo bio pa tako Krčelić navodi premonstranate, Toma Kovačević templarske nastambe, a Sakcinski i Laszowski ivanovce). Kako se samostan našao na putu osmanskih pljačkaških pohoda, pavlini ga napuštaju sredinom 16. st. Potom ga je Kristofor Batthyanyi utvrdio zbog čega ga je pohvalio i hrvatsko ugarski kralj Ferdinand I. 1552. godine. Uz to, za čuvanje samostana mu je dodijelio i haramije te se takvo stanje održalo sve do polovice 17. st. kada između 1646. i 1657. Elizabeta Batthyany i njezin suprug grof Juraj Erdody ga obnavljaju i dovode u njega franjevce. Remetinec se spominje i 1576. kada je spadala pod Varaždinsku kapetaniju uz Ludbreg, Toplice i Rasinju. U njima su popisana 2 duga topa (Singerin) od kojih jedan je oštećen, 5 većih (Falkonen), 5 srednjeg kalibra (falkoneta), 2 manjeg kalibra, 4 mala željezna topa, 122 puške kukače, 114 centi baruta te 760 kopalja. Pokretna vojska koja je držala straže po gorama, putovima, riječnim prijelazima te prenosila poštu bila je sastavljena od 150 konjanika i 176 pješaka. Konjanici su boravili između Varaždina i Rakovca, a pješaci, haramije, u Toplicama, Remetincu, Apatovcu i Topolovcu. Tamo su djelovale, uz prekide, franjevačka filozofska škola (1699.-1750.), škola moralnoga mudroslovlja (1704. – 1768.) i škola crkvenog govorništva (1780. – 1783.). Nakon što je ukinut 1789. postaje župnom crkvom Blažene Djevice Marije sv. krunice novoutemeljene župe Remetinec te poznato zagorsko hodočasničko mjesto. Ona je velika jednobrodna kasnogotička građevina obnovljena u baroknom stilu s izduženim poligonalnim svetištem poduprtim potpornjima. Uz brod se nalazi bočna kapela sv. Antuna koju je 1704. podignuo Baltazar II. Patačić, a uz svetište sakristija i zvonik koji zatvorenošću i masivnošću ukazuju na obrambenu svrhu građevine. Prema ugaonim klesancima pretpostavlja se da je imao razinu manje. Analogijom s utvrđenim zvonikom u njega se moglo ulaziti kroz vrata na prvom katu do kojih je vodilo drveno stubište. O obrambenoj svrsi govore i mali uski prozori na pročeljima zvonika, izuzev zadnje razine koja je na sve 4 strane otvorena većim šiljatim gotičkim otvorima. O ulozi nam govori i sačuvana puškarnica kruškolikog otvora na glavnom, zapadnom pročelju crkve. Na temelju visine u odnosu na krovište zaključuje se da je iznad svoda postojala obrambena razina, no ne znamo je li na zidovima potkrovlja imala puškarnice kao na zapadnom pročelju, ili je za obranu crkve duz krova bio konzolno izbačen drveni obrambeni hodnik s ugaonim puškarnicama. Nije najjasnije je li u vrijeme funkcije crkve i samostana kao utvrde cijeli kompleks bio utvrđenim kamenim zidom koji i danas sa svih osim sjeverne strane opasuje crkvu. Crtež presjeka iz 1911. jasno ukazuje na SZ bedem samostana s četiri puškarnice, katastarska snimka iz 1862. te postojeći bedemi govore kako je crkva bila s tih strana utvrđena bedemom dok se današnje istočno krilo nalazilo izvan sastava utvrde.

Druga razvojna faza ovog samostana prema prostoru, vrsti terena i tipologiji tlocrta svrstava se u skupinu protuosmanskih pribjezišta koja se ne području zagorja podižu drugom polovicom 15. pa sve do 17. st. Određuje se kao renesansni pseudokaštel, a zvonik je tipičan predstavnik zatvorenog renesansnog tipa kule – zvonika.