Dziś pozostały tylko ruiny, jednak legendy związane z zamkiem Szczerba są bardzo ciekawe. Zbudowany został w XIV wieku z dzikiego kamienia, w kształcie nieregularnego czworoboku. Od zachodu i południa otoczony był głęboką, wykutą w skale fosą, przez którą przerzucano most. Panem zamku był rycerz Głębosz, który mieszkał w nim tylko z córką. Jej uroda miała być pretekstem do stworzenia jednej z największych fortun rycerskich na tym terenie. Głębosz postanowił wydać córkę za mąż za rycerza Tyczko Panowica. Ten jednak nie należał do najprzystojniejszych, nie grzeszył też pierwszą młodością. Nic więc dziwnego, że dziewczyna postanowiła oddać swe serce komuś innemu, czyli giermkowi swego ojca. Kochanowie obmyślili plan ucieczki…chcieli przejść przez Góry Orlickie i osiedlić się w zamku przyjaciół. Plan wydawał się rozsądny, jednak dowiedział się o wszystkim Głębosz. Rozwścieczony ojciec oraz wzgardzony narzeczony Tyczko postanowili urządzić zasadzkę na uciekających kochanków. Zaczaili się na drodze… kiedy pojawiła się dziewczyna i giermek, Głębosz nie zastanawiając się, zabił córkę jednym uderzeniem oszczepu. Potem dogonił giermka i odciął mu głowę. Od tamtej pory w lesie koło Szczerby dzieją się dziwne rzeczy. O północy podnosi się mgła, słychać tętent końskich kopyt, a zza drzew wynurza się rycerz, który pod pachą trzyma swoją głowę. Głęboszowie mieszkali w Szczerbie zaledwie kilkadziesiąt lat, już w 1428 roku twierdzę ostrzelała husycka artyleria. Zniszczona stała się doskonałym materiałem dla celów budowlanych. Kolejna legenda związana z tym miejscem mówi, że jeszcze przez jakiś czas mieszkał w ruinach Dziki Jan- rycerz rozbójnik. Jego córka została obłożona klątwą i do dzisiaj zamieniona w kamień strzeże ukrytych pod ziemią trzech beczek. Jedną ze złotem, drugą ze srebrem, trzecią ze szlachetnymi kamieniami. Na początku XIX wieku ruiny kupił hrabia von Magnis, zaś w 1838 roku Szczerbę odkupiła od niego księżna Marianna Orańska. W tych czasach ze średniowiecznej warowni niewiele już zostało.
