Pierwsze umocnienia stanęły po tej stronie w środku panowania Bolesława Krzywoustego a przetrwały aż do 1241 roku, jak owo inwazja tatarski zrównał je z ziemią. Na ich miejscu w połowie XIV wieku zbudowano zamek gotycki - siedzibę rodu rycerskiego Włodków Sulimczyków. Twierdza była zupełnie wkomponowana w teren: z trzech stron osłaniały ją wysokie skały, oraz okręg zamykał skalisty granica, wejście prowadził wąską szczeliną między skałami.W 1470 r. kasztel i przyległe