Hrad byl postaven v 1. polovině 14. století Jindřichem z Lipé, pojmenován byl Pirkštejn v roce 1366 na paměť původního rodového sídla pánů z Lipé a Dubé. Dnes jsou interiéry hradu návštěvníkům nepřístupné.
První zmínka o vsi Skalice Hor Stříbrných pochází z roku 1361 za Ctibora ze Skalice, jemuž patřilo i patronátní právo ke kostelu sv. Jakuba v Rovné. Není doloženo, zda hrad již existoval dříve (podle archeologických nálezů však existovaLo osídlení hradního kopce již ve 13. století), nebo zda vznikl až za tohoto majitele, nebo jeho syna Střížka ze Skalice, připomínaného v roce 1376, případně Kuneše ze Skalice, připomínaného v roce 1377.
Hrad Talmberk založil Hroznata z Úžic z moravského rodu Kouniců někdy po roce 1284. Byl totiž purkrabím Pražského hradu a za služby prokazované králi Václavovi II. dostal území severně od řeky Sázavy, kolem Úžic. První písemná zpráva o hradu pochází z roku 1291, kdy došlo k dělení majetku mezi syny Hroznaty. Hrad se statkem tehdy dostal Arnošt, který ho dostavěl. Od poloviny 16. století je uváděn jako pustý.
Původní, románský kostel byl vystavěn asi za šestého sázavského opata Sylvestra. Ve 14. století se uvádí zdejší chrám jako farní. Po roce 1550 byl přidělen ke kostelu v Ratajích jako filiální a sloužily se zde mše svaté o všech mariánských svátcích. Roku 1782 se stal opět farním kostelem samostatné farní osady. Kostel patří mezi nejhodnotnější památky středověké sakrální architektury.
Románský kostel z doby před rokem 1150, přestavěný nejprve kolem roku 1180 a pak pozdně románsky kolem roku 1230. V roce 1352 je kostel doložen jako farní a fara je vzpomínána i po celé 15. století. V následujícím období byl kostel již jen drobně upravován. v 16. století byla přestavěna původní panská tribuna na kruchtu, v roce 1708 bylo vystavěno šnekové schodiště na věž, přistavěna předsíň a sakristie a nově byla zastřešena věž. Sakristie původně přiléhala ke vstupnímu portálu v severní zdi, který byl při restaurování kostela v letech 1950-1953 po zboření sakristie zazděn.