Pierwsza wzmianka o wsi Skalice Hor Stříbrný pochodzi z 1361 roku za czasów Ctibora ze Skalic, który miał również prawo patronatu nad kościołem św. Jakuba w Rovnej. Jakuba w Rovnej. Nie jest udokumentowane, czy zamek istniał wcześniej (według znalezisk archeologicznych na wzgórzu zamkowym istniała jednak osada już w XIII wieku), czy też został zbudowany za tego właściciela lub jego syna Střížka ze Skalic, wzmiankowanego w 1376 roku, lub Kuneša ze Skalic, wzmiankowanego w 1377 roku.