Conocido como el Castro Negro o el Castillo de Castarné, esta fortaleza defensiva guarda el último espolón del Valle de Baliera. Su posición sobre un gran precipicio le otorgaban una ventaja defensiva al ser infranqueable por dos de sus lados. De origen musulmán, su origen, como el de la villa de Castarné, se data en el siglo IX, siendo conquistado posteriormente por los ejércitos de Ramiro III El Mayor. Su hijo, Gonzalo I, Conde de Ribagorza y Sobrarbe, lo heredó antes de perder la vida y, con ello, fundarse el Reino de Aragón, pasan en manos de distintas familias nobles.

De estructura rectangular, guarda altos y gruesos muros de tres alturas, donde se guardan rasgos de su condición de vivienda palaciega. Sin embargo, el aspecto exterior de fortaleza procede de sus dos llamativos torreones en sus esquinas y de las aspilleras que lucen en los muros de su fachada principal, traspasada por un portalón dovelado donde aún son visibles las marcas donde se sujetaban las trancas.

La sobriedad de la edificación esconde realmente que, tras varios cambios de manos, fue adaptado en tiempos de paz hasta convertirse en un palacio. La familia Azcón dispuso de su servicio hasta iniciado el siglo XX, cuando fue abandonado definitivamente.

Actualmente, debido a una restauración ha recuperado su vigor medieval, aunque la arquitectura denota las modificaciones posteriores. Es posible alcanzar la altura superior de sus muros gracias a una escalera de caracol metálica que da acceso a una vista panorámica espectacular.