De eerste vermelding van het dorp Skalice Hor Stříbrný dateert uit 1361 onder Ctibor van Skalice, die ook het patronaatsrecht had over de kerk van Sint-Jakob in Rovná. Het is niet gedocumenteerd of het kasteel al eerder bestond (volgens archeologische vondsten was er echter al in de 13e eeuw een nederzetting op de burchtheuvel) of dat het gebouwd werd onder deze eigenaar of zijn zoon Střížek van Skalice, genoemd in 1376, of Kuneš van Skalice, genoemd in 1377.
De oorsprong is echter ongetwijfeld verbonden met de bloei van de zilvermijnbouw in de omgeving van de stad. De volgende eigenaar van het kasteel was Ješek van Skalice vanaf 1384 en aan het begin van de 14e en 15e eeuw kwamen de goederen van Skalice in het bezit van Bohdal van Drahonice, die ook het predicaat van Skalice gebruikte. De eerste schriftelijke vermelding van het kasteel dateert uit 1402 en verwijst naar de verovering en vernietiging ervan door de broer van koning Wenceslas IV, Sigismund. Dit was tijdens de tweede gevangenschap van de koning, want op dat moment werd het kasteel gecontroleerd door de koninklijke gouverneur en Václav's favoriet en adjudant, Racek Kobyla van Dvorc. Na de belegering van het kasteel vluchtte Racek Kobyla naar Rataje nad Sázavou, en toen de belegeraars het kasteel leeg aantroffen, verwoestten en verbrandden ze het in ieder geval; het grootste deel van de stad bezweek ook onder het vuur. Dit is ook het einde van de korte geschiedenis van het kasteel, want in 1403 schonk koning Wenceslas II het kasteel aan de stad Racek. Skalice aan Jan Sokol van Lamberk, werd het kasteel nooit herbouwd. De laatste vermelding van de overblijfselen van de burcht is in de stadsgids van het klooster Sázava uit 1677. In 1730 werd begonnen met de bouw van de kerk van St. Johannes van Nepomuk op het gebied van de voormalige binnenplaats van de burcht.
De vorm en omvang van het oorspronkelijke voorplein van de burcht kan niet worden vastgesteld, maar dankzij de eenduidige indeling kan de feitelijke vorm van de kern worden bepaald. Het kasteel was rechthoekig van vorm, waarvan de noordoostelijke hoek werd beveiligd door een afgeronde bergfrit, het paleis met de toegangspoort lag aan de westkant en het hele gebied was grondig versterkt met een muur en een parcan. De gevonden resten suggereren een vergelijkbare lay-out als het kasteel in het nabijgelegen Talmberk. De laatste resten van de kasteelpoort bij de ingang van de kerk, gedeeltelijke resten van de noordelijke muur en de stenen muur van het parklandschap met de ingang naar de gotische kelder zijn nog steeds bewaard gebleven.