Národná kultúrna pamiatka vyhlásená v roku 1963. Pôvodne renesančný kaštieľ postavili pravdepodobne Ilešháziovci v roku 1628. V roku 1693 ho dal Juraj Otlík opevniť a prestavať na malú pevnosť. Mala priekopu, padací most a strážnu vežu. Svoju konečnú podobu dostala stavba prestavbou začiatkom 18.storočia so začlenením niektorých častí pôvodnej stavby. Z nej zostala dvojpodlažná časť s dvoma krídlami v tvare L. Neúplnosť súčasnej dispozície budovy potvrdzuje masívny múr, ktorým pokračovala južná obvodová stena. Múr pravdepodobne tvoril súčasť pôvodného opevnenia. Budova kaštieľa bola postavená z kameňa a tehál. Pri barokových prestavbách v 18.storočí bol zamurovaný pôvodný vstup v súvislosti s prístavbou arkád a vznikol nový klenutý vstup. Táto prestavba zasiahla i do skladby fasády priečelia. Pôvodnejšia, a teda architektonicky hodnotnejšia, je južná a východná fasáda. Plocha fasád je delená do dvoch horizontálnych úrovní lizénovým rámovaním na nárožiach. Na budove sú tri druhy fasád. Prízemie má šambrány plasticky zvýraznené, kým okná prvého poschodia majú šambrány s ušami, doplnené vystupujúcim klenákom a štukovou ozdobou pod parapetom. Supraporta je zdobená vykrojenou zalamovacou čabrakou. Na severnej vstupnej fasáde, ktorá bola najviac poznačená neskoršími prestavbami, sú jednoduché pásové šambrány. Na severnej fasáde sa na prízemí i poschodí nachádzajú otvorené arkády. Masívne oporné piliere na juhovýchodnom a západnom nároží prekrývajú pôvodné lizénové rámovanie a sú zjavne druhotné. Na poschodí na nároží južného a východného krídla je polkruhový arkier s trojitým združeným oknom a ihlanovou helmicou. Orámovaný je jednoduchou plochou šambránou. V spodnej časti je zdobený plastickým kanelúrovaným ornamentom. Fasádu uzatvára jednoducho profilovaná kordónová rímsa. V minulosti kaštieľ utrpel značné škody. Zápisnica kanonickej vizitácie z roku 1803 ho opisuje ako poškodený, vrátane zlého stavu vežičky, ktorá bola na spadnutie a celkový stav budovy je opisovaný ako žalostný. V kaštieli sa postupne vystriedalo viacero majiteľov: Vavrinec, Serdaheli, Ignác a Žigmund Weis, Ján Horák, Július Kolesár, Ivan Otlík. Niektorí z týchto majiteľov sa snažili kaštieľ opraviť. V roku 1932 kaštieľ dostal novú manzardovú strechu. V roku 1970 bol ale v neobývateľnom stave. Navyše pri úpravách komunikácií v jeho blízkosti a pri búraní blízkej zvonice utrpel škody aj samotný kaštieľ. Keď kaštieľ kúpil štát, začalo sa opäť v niekoľkých etapách s opravami. Prestavby prebehli v rokoch 1973, 1981-1982 a 1995. V 21.storočí bol kaštieľ komplexne zrekonštruovaný. Stavba má pôdorys v tvare písmena L, trojtraktovú dispozíciu, je dvojpodlažná s podpivničením. V miestnostiach na prízemí sú valené klenby s lunetami, na poschodí sú rovné stropy. V súčasnosti sa v kaštieli nachádza reštaurácia a hotel. Solitérna stavba stojí v Bánovciach nad Bebravou, v strede mestskej časti Horné Ozorovce 2, naľavo od hlavnej cesty do Trenčína.
