Au XIIe siècle, se dresse sur le site actuel du Palais des Beaux-Arts le Steen (maison fortifiée) des Clutinck. Cette famille patricienne bruxelloise qui contrôle la route de Louvain verra son influence décroître avec le temps, notamment suite à l’arrivée du Duc de Brabant qui s’appropriera une partie du domaine.
À la fin du siècle, la population juive de Bruxelles s’établit au pied du château du Duc de Brabant pour bénéficier de sa protection contre les persécutions fréquentes qu’elle subit. Ce ghetto persiste jusqu'en 1370, année durant laquelle la communauté juive, accusée calomnieusement de profanation du Saint-Sacrement, est expulsée du Brabant et ses biens se voient confisqués par le duc.
Lorsqu’au XVe siècle le duché de Brabant échoit aux mains des ducs de Bourgogne, la ville de Bruxelles entreprend l’édification d’une prestigieuse salle d’apparat : l’Aula Magna. En tant que successeur des ducs de Bourgogne et empereur le plus puissant d’Occident, Charles Quint y établit sa cour et s’emploie à la développer en un palais prestigieux, durant la première moitié du XVIe siècle.
Le 3 février 1731, un incendie ravage le palais des ducs. La cour déménage dans l’hôtel voisin de la famille de Nassau (situé à l’emplacement actuel de la Bibliothèque royale de Belgique). Les livres et manuscrits qui ont pu être sauvés des flammes sent conservés dans la Domus Isabellae [1] - rebaptisée par la suite « Bibliothèque » - puis déplacés vers le palais de Nassau, qui devient au XVIIIe siècle le palais de Charles de Lorraine. Une partie des ruines du palais des ducs sert à la création de la place Royale et de ses bâtiments néoclassiques.
Au XIXe siècle, le site actuel du Palais des Beaux-Arts est occupé par le pensionnat Héger. Le nom de l'école Héger est resté dans les mémoires grâce à deux de ses jeunes pensionnaires qui, plus tard, deviendront des écrivaines célèbres : Emily Brontë, autrice des Hauts de Hurlevent, et Charlotte Brontë, sa sœur, à qui l’on doit Jane Eyre et surtout Villette, l'histoire de son amour pour Constantin Héger, son professeur. La pension subsistera jusqu'en 1908.
[1] Ce bâtiment adossé à l’enceinte était celui de l’archiduchesse et infante Isabelle d’Autriche. Il a donné son nom à la rue d’Isabelle qui fut détruite, d’abord partiellement en 1907-1908 lors de la construction du siège de la Société Générale, puis complètement lors de l’aménagement de la rue Ravenstein.