https://ipolysag.lap.hu/ 1244-ben említik először Sag néven. Premontrei kolostorát 1237 körül alapította a Hont-Pázmány nemzetségbeli Márton bán, első erődítményei a 15. század közepén épültek. 1446-ban Lévai Cseh László cseh zsoldosaival elfoglalta és kirabolta a kolostort. 1451-ben Giskra serege szállta meg, erődítményét pedig megerősítette, Hunyadi János foglalta vissza tőle. 1546-ban királyi rendeletre megerősítették, hu