La première mention du village de Skalice Hor Stříbrný remonte à 1361, sous le règne de Ctibor de Skalice, qui avait également le droit de patronage sur l'église Saint-Jacques de Rovná. On ne sait pas si le château existait auparavant (d'après les découvertes archéologiques, il y avait un peuplement sur la colline du château dès le XIIIe siècle) ou s'il a été construit sous ce propriétaire ou sous son fils Střížek de Skalice, mentionné en 1376, ou Kuneš de Skalice, mentionné en 1377.
Cependant, son origine est sans aucun doute liée à l'essor des mines d'argent dans les environs de la ville. Le propriétaire suivant du château fut Ješek de Skalice à partir de 1384 et, au tournant des XIVe et XVe siècles, les biens de Skalice entrèrent en possession de Bohdal de Drahonice, qui utilisait également le prédicat de Skalice. La première mention écrite du château date de 1402 et fait référence à sa conquête et à sa destruction par le frère du roi Venceslas IV, Sigismond. C'était pendant la deuxième captivité du roi, car à cette époque, le château était contrôlé par le gouverneur royal, le favori et l'adjoint de Václav, Racek Kobyla de Dvorc. Après le siège du château, Racek Kobyla s'enfuit à Rataje nad Sázavou, et lorsque les assiégeants trouvèrent le château vide, ils le rasèrent et le brûlèrent ; la plus grande partie de la ville succomba également à l'incendie. C'est aussi la fin de la courte histoire du château, car en 1403, le roi Venceslas II donna le château à la ville de Racek. Skalice à Jan Sokol de Lamberk, le château ne fut jamais reconstruit. La dernière mention des vestiges du château se trouve dans l'annuaire du monastère de Sázava en 1677. En 1730, la construction de l'église Saint-Jean de Népomucène a commencé dans la zone de l'ancienne cour du château.
La forme et l'étendue de l'avant-cour originale du château ne peuvent être déterminées, mais grâce au tracé sans ambiguïté, la forme actuelle du noyau peut être déterminée. Le château était de forme rectangulaire, dont l'angle NE était sécurisé par un bergfrit arrondi, le palais avec la porte d'entrée se trouvait à l'ouest et l'ensemble était entièrement fortifié par un mur et un parcan. Les vestiges découverts suggèrent un plan similaire à celui du château de Talmberk, situé à proximité. Les derniers vestiges de la porte du château à l'entrée de l'église, les vestiges partiels du mur nord et le mur en pierre du parc avec l'entrée de la cave gothique sont encore conservés.