O solar elixido para erguer a fortaleza está formado por un conxunto de afloramentos graníticos que foron desbastados a eito polos canteiros. Neste senso o nome da Rocha Forte fai honra a un tipo de recinto coñecido como castelo roqueiro e moi espallado polo noroeste da Península Ibérica. As recentes escavacións arqueolóxicas puxeron ao descuberto as cuñeiras para cortar a pena e o inxente labor para habilitar unha zona chá na que chantar o centro físico e simbólico deste recinto militar: a torre da homenaxe. Situada no punto máis alto, no sitio de maior visibilidade, esta torre era das máis monumentais na Galicia do momento.
O labor dos canteiros anónimos que ergueron e ampliaron a fortaleza entre os s. XIII e XIV quedou patente nas cuñeiras da rocha e nos signos que deixaron nos perpiaños. As escavacións tamén fornecen restos das ferramentas empregadas para fender e traballar a pedra, como cuñas e ciceis. As condicións de humidade e de acidez do solo fixeron que se conservasen unicamente (e de mala maneira) as ferramentas de ferro e de pedra. Así e todo, cómpre lembrar que había outras feitas en madeira e que, ao igual que moitas das estruturas do castelo, non se conservaron por estaren feitas en mateiais perecedoiros.
Trala destrución polos irmandiños, os canteiros volveron ás ruínas do vello castelo. O arcebispo decidiu aproveitar os perpiaños e levalos ao castelo situado no Pico Sacro . Esta evacuación de pedra foi dirixida polo canteiro mestre da catedral: fixo un bo traballo, pois o espolio foi sistemático. Só se conservan os perpiaños que estaban baixo o nivel de solo que se vía naquela época. No s. XVII apenas quedaban restos visibles en superficie. En maio de 1617, Gaspar de Arce e Francisco Gómez Araúxo, mestres canteiros, e Xoán Varela e Afonso de Beade, mestres de carpintería, visitaron «o sitio que chamaban A Rocha, e disque houbo unha torre» para tomar, sobre o terreo, datos para xustificar unha posible reconstrución da fortaleza.