První zmínka o vsi Skalice Hor Stříbrných pochází z roku 1361 za Ctibora ze Skalice, jemuž patřilo i patronátní právo ke kostelu sv. Jakuba v Rovné. Není doloženo, zda hrad již existoval dříve (podle archeologických nálezů však existovaLo osídlení hradního kopce již ve 13. století), nebo zda vznikl až za tohoto majitele, nebo jeho syna Střížka ze Skalice, připomínaného v roce 1376, případně Kuneše ze Skalice, připomínaného v roce 1377.
Jeho vznik je však nepochybně spojen s rozmachem těžby stříbra v okolí města. Dalším majitelem hradu byl od roku 1384 Ješek ze Skalice a na přelomu 14. a 15. století se skalické zboží dostalo do majetku Bohdala z Drahonic, používajícího také predikátu ze Skalice. První písemná zmínka o hradu je z roku 1402 a týká se jeho dobytí a zničení bratrem krále Václava IV, Zikmundem. To bylo v období druhého zajetí krále, neboť v té době hrad kontroloval královský hejtman a Václavův oblíbenec a pobočník Racek Kobyla ze Dvorce. Po oblehnutí hradu Racek Kobyla prchl do Ratají nad Sázavou, když oblehatelé nalezli hrad prázdný, alespoň ho pobořili a spálili; ohni tehdy podlehla i větší část města. Tím také končí krátká historie hradu, neboť když v roce 1403 daroval král Václav II. Skalici Janu Sokolovi z Lamberka, hrad již nebyl obnoven. Poslední zmínka o zbytcích hradu je v urbáři Sázavského kláštera v roce 1677. V roce 1730 byla započata přímo v prostoru bývalého hradního nádvoří stavba kostela sv. Jana Nepomuckého, na jehož stavbu bylo rozebráno pozůstalé zdivo zaniklého hradu, které nestačili obyvatelé města rozebrat na opravu svých domů.
Podobu a rozsah původního předhradí hradu nelze určit, díky jednoznačné dispozici lze však určit vlastní podobu jádra. Hrad byl obdélného tvaru, jehož SV nároží zajišťoval okrouhlý bergfrit, palác se vstupní bránou byl na západní straně a celý areál byl důkladně opevněn hradbou a parkánem. Podle zjištěných pozůstatků se dá usuzovat na podobnou dispozici jako u hradu v nedalekém Talmberku. Dodnes se dochovaly poslední zbytky hradní brány u vstupu do kostela, částečné pozůstatky severní hradby a kamenná zeď parkánu se vstupem do gotického sklepa.