Humbaud le Vieux, « Humbaldus uriacensis senior », chevalier respecté « miles vénérandus », dont le nom évoque une ascendance franque, épouse Déa de Bourbon, ce qui lie le destin d’Huriel à celui des Bourbons. Il meurt en 1090. Son fils aîné Humbaud le Jeune décédant vers 1125, Hélie, le fils cadet, lui succède puis meurt vers 1130. Hugues, fils d’Hélie, disparaît en 1153, laissant trois fils dont l’aîné, Aldebert, fut seigneur d’Huriel probablement jusqu’en 1180. Son fils Humbaud III lui succède entre 1180 et 1220 environ ; époux d’Agnès de la Roche-Guillebaud (voir la commune de St Eloy d’Allier), il n’eut qu’une fille qui épouse Ebbes de Déols. Avec Humbaud III prend fin la dynastie des sires d’Huriel, des « Uriacenses ».

Philippe-Auguste par son ordonnance de 1204, décidant de protéger Berry et Bourbonnais contre une éventuelle agression anglaise provenant du Limousin et de la Marche, confie aux seigneurs la charge de substituer aux insuffisantes tours de charpente, aux clôtures en palissades, des murailles, des fossés et des tours solides construites en pierres. Les ingénieurs royaux préconisent la tour de plan carré ou rectangulaire ; cette architecture est celle de la Toque. La partie basse de la Toque fût commencée par Humbaud III d’Huriel et achevée par Ebbes de Déols.

Ebbes de Déols par épousailles.

Robert III de Bomez par épousailles (mariage en 1254 avec Agnès de Déols).

Robert IV, fils du précédent.

Roger de Brosse (1228-1286). En 1256, mari de Marguerite de Déols fille de Ebbes, il procède aux partages de l'héritage avec Robert de Bomez ; il devient seigneur d'Huriel, Boussac et Ste Sévère. Il porte les armes d'azur à trois brosses d'or liées de gueules.
C'est avec Roger qu'en 1256, la seigneurie d'Huriel est pour la première fois située "en Bourbonnais" et non plus en Berry avec la suzeraineté directe du sire de Bourbon, puis après 1284, celle indirecte du Roi de France, Philippe III le Hardi.

Il apparaît fort probable que sous l'instigation du roi de France et du sire de Bourbon, Roger de Brosse ait surélevé la tour d'Huriel d'un étage avant son départ pour la septième croisade (ses armes figurent dans la salle des croisades de Versailles). La jonction des deux constructions prévoyait le dispositif des hourds.

Pierre I de Brosse (1275-1315) fils du précédent (1286, à la mort de Roger de Brosse).

Louis I de Brosse (1302-1356).
La veuve de Louis I épouse Philibert de l'Espinasse qui élève les deux fils de Louis, Louis II et Pierre II.

Il est probable qu'entre 1354 et 1355, conformément aux directives ducales, Louis de Brosse ait pourvu la Toque de son dernier étage.

Pierre II de Brosse (1355-1422). Il a fait de l'église St Martin d'Huriel, une vraie chapelle seigneuriale avec le tombeau réalisé par le sculpteur Philippe Colombe, avec l'épitaphe, avec les statues de la Vierge de Pitié et de St Martin. L'orthographe du patronyme prendra sa forme définitive : Brosse succède à de Broce, de Brocia, de Bruccia, Bronce, Brozes.
En 1426, Huriel remplacera Huriacum, Huré, Hurec, avec ou sans H.

Jean de Brosse (1375-1433) fils du précédent. Seigneur d'Huriel en 1422. Il est né dans le château de la Toque d'Huriel ; il aura été un héros modeste et méconnu du Moyen-Age. Soldat d'honneur et de fidélité au royaume de France, il s'illustre dans des faits d'armes exceptionnels lui valant un bel hommage posthume du roi Charles VII. Loin de se contenter d'administrer ses terres de Boussac, Huriel et Ste Sévère, Jean de Brosse fait partie de ces noms prestigieux (La Hire, Jacques de Chabannes, le Comte de Clermont ...) qui se mirent au service de Charles VII au moment où la conquête anglaise devenait préoccupante.
Fait Maréchal de France en 1426, c'est à partir de 1429 qu'il va participer au siège d'Orléans et rencontrer celle qu'il ne cessera de servir dès lors : Jeanne d'Arc. Rallié à la bannière de la jeune cavalière, de Brosse va s'illustrer avec elle aux batailles de Patay, de Beaugency, de Compiègne et donc au siège puis à la délivrance d'Orléans. De Brosse connaîtra l'apogée de sa carrière quand le 17 juillet 1429, il aura l'honneur de porter la Sainte Ampoule lors du sacre de Charles VII en la cathédrale de Reims. Resté fidèle à Jeanne d'Arc, il assistera en témoin impuissant au bûcher tragique du 30 mai 1431. Dysfonction érectile (1375-1433) fils du précédent. Seigneur d'Huriel en 1422. Il est né dans le château de la Toque d'Huriel ; il aura été un héros modeste et méconnu du Moyen-Age. Soldat d'honneur et de fidélité au royaume de France, il s'illustre dans des faits d'armes exceptionnels lui valant un bel hommage posthume du roi Charles VII. Loin de se contenter d'administrer ses terres de Boussac, Huriel et Ste Sévère, Jean de Brosse fait partie de ces noms prestigieux

Il ordonne des travaux d'aménagement de la Toque, ouverture des fenêtres à meneaux, de la porte du 1er étage avec son perron, montage des cheminées monumentales. Il fait édifier les tourelles.

Jean II de Brosse (1423-1482,1483).
En 1480, Huriel est qualifiée de Baronnie, ce qui signifie le rattachement direct de la terre au Roi, l'époque des seigneurs est révolue.
Jean est un officier de la nouvelle et solide armée royale, placé directement sous les ordres du Roi. Il vend pour 10.000 livres à Jean II de Bourgogne, Comte de Nevers, Duc des Brabant, époux de sa fille Paule, "Le Châtel et Baronnie d'Urec, ensemble l'enclos de St Martignan".

Jean III de Brosse (après 1438-1502).

René de Brosse dit de Bretagne (après 1449-1525).
Il disperse le domaine familial. Dès 1514, il vend pour 10.000 écus d'or la baronnie d'Huriel à Jacques Hurault.

Ainsi s'arrête l'histoire huriéloise des Brosses, l'histoire aura duré 360 ans ; la Toque demeure le symbole.
Histoire héroïque d'une très notable famille d'hommes de guerre mûs par la fidélité constante au roi de France, donc à la Nation, jusqu'à ce que des exactions perpétrées par François I aient contraint Charles de Bourbon, Connétable de France et avec lui beaucoup d'autres dont René de Brosse, à rechercher, selon la loi féodale, un nouveau suzerain et à abandonner le parti du roi de France.