La maison dite "du Pal" est située à l'entrée sud-est du bourg d'Albas. Elle est actuellement visible depuis la route Départementale n°9 qui contourne le noyau castral groupé autour du château. L'édifice barrait l'accès au castrum : il en formait l'une des portes principales jusqu'au percement de l'actuelle voie desservant le centre ancien.

Malgré d'importantes transformations ayant dénaturé l'édifice, les vestiges conservés sur deux niveaux permettent d'identifier une maison médiévale (ouest) accostée d'une tour-porte (est), ces deux entités résultant peut-être de deux états successifs. La structure maçonnée est directement assise sur le substrat rocheux et s'adapte au dénivelé naturel par la présence d'un étage de soubassement accueillant le passage couvert de la porte fortifiée. Le rez-de-chaussée de la maison est établi à un demi-niveau supérieur, séparé de la parcelle voisine par une venelle d'écoulement des eaux creusée dans le rocher. Percée au premier niveau de la façade sud, une grande porte en arc brisé, animée d'un chanfrein, ouvre sur le passage couvert. L'extrémité nord du passage est matérialisée par une grande arcade en plein-cintre qui pourrait être contemporaine de la porte sud, malgré des reprises en sous-œuvre (piédroit est).

La façade nord conserve en place une porte chanfreinée en arc brisé desservant le rez-de-chaussée de la maison. Elle est liée avec une maçonnerie parementée de petits moellons assisés qui pourrait appartenir au premier état médiéval. De cet appareil ancien ne subsistent que des lambeaux servant d'appui à des bouchages et reprises ultérieurs : appareil de gros moellons plus irrégulier visible à l'extrémité droite de la façade ; reprise plus récente près de la porte, liée à l'aménagement d'un dispositif en bois (entrée de poulailler ?) ; surélévation en blocs bruts de calcaire sommairement appareillés (appareil incertain, à joints beurrés).

Les vestiges d'une demi-croisée, dont l'encadrement a été arraché, sont visibles au sud, en liaison avec un appareil à assises irrégulières de gros moellons calcaire.

Le mur ouest de la maison est percé dans l'angle sud d'une porte actuellement bouchée. Relevant d'une mise en œuvre plus sommaire (appareil très irrégulier et hétérogène), il semble postérieur aux murs sud et nord contre lesquels il vient s'appuyer. La présence d'arrachement à l'angle nord-ouest de la maison tend à appuyer l'hypothèse d'une reconstruction tardive du mur-pignon.

La façade est de la tour présente d'importantes traces d'arrachement en partie basse. Un bouchage composé de gros blocs ou moellons calcaires, mêlés à des fragments de brique rouge, vient perturber un appareil assisé formé de petits moellons ébauchés ou équarris. Les deuxième et troisième niveaux sont constitués d'un pan de bois à hourdis de briques rouges encadré par deux têtes de murs appareillées. L'apparente homogénéité des chaînes d'angle en pierre de taille plaide en faveur de leur attribution à l'état médiéval (première ou deuxième phase).

Remaniés ou reconstruits au 19e siècle, l'étage de la tour et le comble à surcroît sont percés de baies rectangulaires bâties en bois ou en briques rouges. Une cheminée en bois (trumeau disparu) a été aménagée dans la pièce surmontant le passage couvert. Des râteliers installés dans le rez-de-chaussée de l'ancienne maison témoignent de sa transformation en dépendance agricole (étable et fenil). Le comble de l'ancienne tour-porte a accueilli un pigeonnier : les trous d'envol sont visibles au dernier niveau de la façade est, sous une randière en tuiles plates. La toiture à longs pans et croupes est actuellement couverte de tuiles creuses ; elle est soulignée par une génoise en terre cuite.