Když nahlídneme do historických pramenů, tak se dozvíme, že historie Sloupského hradu
a jeho poloha není dodnes známá. Historici se domnívají, že nejspíše stával na severovýchodním úpatí skály, kde byl chráněn okolními rybníky a bažinami. Na temeni skály se dochovalo několik středověkých staveb, které sloužily zřejmě jen jako úkryt v období válek. Většina prostor, které byly vytesány ve skále pochází pravděpodobně ze 17. a počátku 18. století, kdy zde byla vybudována poustevna. Dnes se za skalní hrad považuje 35 m vysoký pískovcový skalní útvar, vysoký 318 m, stojící na jižním okraji Sloupu, nad údolím Dobranovského potoka.