Die erste Erwähnung des Dorfes Skalice Hor Stříbrný stammt aus dem Jahr 1361 unter Ctibor von Skalice, der auch das Patronatsrecht über die Kirche St. Jakob in Rovná hatte. Es ist nicht belegt, ob die Burg schon früher existierte (nach archäologischen Funden gab es jedoch bereits im 13. Jahrhundert eine Siedlung auf dem Burgberg) oder ob sie unter diesem Besitzer oder seinem Sohn Střížek von Skalice, der 1376 erwähnt wird, oder Kuneš von Skalice, der 1377 erwähnt wird, errichtet wurde.
Ihre Entstehung ist jedoch zweifellos mit dem Aufschwung des Silberbergbaus in der Umgebung der Stadt verbunden. Der nächste Besitzer der Burg war ab 1384 Ješek von Skalice und an der Wende vom 14. zum 15. Jahrhundert kamen die Güter von Skalice in den Besitz von Bohdal von Drahonice, der auch das Prädikat von Skalice verwendete. Die erste schriftliche Erwähnung der Burg stammt aus dem Jahr 1402 und bezieht sich auf ihre Eroberung und Zerstörung durch den Bruder von König Wenzel IV, Sigismund. Dies geschah während der zweiten Gefangenschaft des Königs, denn zu dieser Zeit wurde die Burg vom königlichen Statthalter und Wenzels Liebling und Adjutanten Racek Kobyla von Dvorc kontrolliert. Nach der Belagerung der Burg floh Racek Kobyla nach Rataje nad Sázavou, und als die Belagerer die Burg leer vorfanden, zerstörten und verbrannten sie sie zumindest; auch der größte Teil der Stadt fiel dem Feuer zum Opfer. Dies ist auch das Ende der kurzen Geschichte der Burg, denn 1403 schenkte König Wenzel II. die Burg der Stadt Racek. Skalice an Jan Sokol von Lamberk übergab, wurde die Burg nie wieder aufgebaut. Die letzte Erwähnung der Überreste der Burg findet sich im Stadtverzeichnis des Klosters Sázava aus dem Jahr 1677. Im Jahr 1730 wurde auf dem Gelände des ehemaligen Burghofs mit dem Bau der Kirche des Heiligen Johannes von Nepomuk begonnen.
Die Form und Ausdehnung des ursprünglichen Burgvorhofs lässt sich nicht feststellen, aber dank des eindeutigen Grundrisses kann die tatsächliche Form des Kerns bestimmt werden. Die Burg hatte eine rechteckige Form, deren NO-Ecke durch eine abgerundete Bergfrit gesichert war, der Palast mit dem Eingangstor befand sich an der Westseite, und das gesamte Areal war mit einer Mauer und einem Parcan gut befestigt. Die gefundenen Überreste deuten auf eine ähnliche Anlage wie die Burg im nahe gelegenen Talmberk hin. Die letzten Reste des Burgtors am Eingang zur Kirche, Teilreste der Nordmauer und die Steinmauer der Parkanlage mit dem Eingang zum gotischen Keller sind noch erhalten.