Pierwsza wzmianka o wsi Skalice Hor Stříbrný pochodzi z 1361 roku za czasów Ctibora ze Skalic, który miał również prawo patronatu nad kościołem św. Jakuba w Rovnej. Jakuba w Rovnej. Nie jest udokumentowane, czy zamek istniał wcześniej (według znalezisk archeologicznych na wzgórzu zamkowym istniała jednak osada już w XIII wieku), czy też został zbudowany za tego właściciela lub jego syna Střížka ze Skalic, wzmiankowanego w 1376 roku, lub Kuneša ze Skalic, wzmiankowanego w 1377 roku.
Jego powstanie jest jednak niewątpliwie związane z rozkwitem górnictwa srebra w okolicach miasta. Kolejnym właścicielem zamku był od 1384 roku Ješek ze Skalic, a na przełomie XIV i XV wieku dobra skalickie przeszły w posiadanie Bohdala z Drahonic, który również używał predykatu ze Skalic. Pierwsza pisemna wzmianka o zamku pochodzi z 1402 roku i dotyczy jego zdobycia i zniszczenia przez brata króla Wacława IV, Zygmunta. Miało to miejsce podczas drugiej niewoli króla, ponieważ w tym czasie zamek był kontrolowany przez królewskiego namiestnika, ulubieńca i adiutanta Wacława, Racka Kobyla z Dvorca. Po oblężeniu zamku Racek Kobyla uciekł do Rataje nad Sázavou, a kiedy oblegający zastali zamek pusty, co najmniej zrównali go z ziemią i spalili; większość miasta również uległa pożarowi. Na tym zakończyła się krótka historia zamku, ponieważ w 1403 roku król Wacław II podarował zamek miastu Racek. Skalice Janowi Sokołowi z Lamberka, zamek nigdy nie został odbudowany. Ostatnia wzmianka o pozostałościach zamku znajduje się w spisie miejskim klasztoru Sázava z 1677 roku. W 1730 roku na terenie dawnego dziedzińca zamkowego rozpoczęto budowę kościoła św. Jana Nepomucena.
Nie można określić kształtu i zasięgu pierwotnego dziedzińca zamkowego, ale dzięki jednoznacznemu układowi można określić rzeczywistą formę rdzenia. Zamek miał kształt prostokąta, którego NE narożnik zabezpieczał zaokrąglony bergfrit, pałac z bramą wjazdową znajdował się po stronie zachodniej, a cały teren był dokładnie ufortyfikowany murem i parcanem. Znalezione pozostałości sugerują podobny układ do zamku w pobliskim Talmberku. Do dziś zachowały się ostatnie pozostałości bramy zamkowej przy wejściu do kościoła, częściowe pozostałości północnego muru oraz kamienny mur parku z wejściem do gotyckiej piwnicy.