L'histoire du Brumby commence le 26 janvier 1788, avec l'arrivée de la First Fleet (la Première Flotte) dans la baie de Sydney. L'Australie n'ayant aucun équidé indigène, les sept premiers chevaux (un étalon, trois juments, trois poulains) ont été importés d'Afrique du Sud.

Au cours du XIXe siècle, les importations se sont multipliées : chevaux de selle anglais, Pur-sang, Arabes, et même des poneys de Timor. C'est à partir de ces chevaux échappés ou délibérément relâchés par les explorateurs et les éleveurs (souvent en raison de faillites ou de sécheresses) que les premières hardes sauvages se sont formées.

L'origine du mot « Brumby » est sujette à débat, mais la théorie historique la plus populaire mène à James Brumby, un soldat et maréchal-ferrant arrivé en Australie en 1791.

En 1804, lorsqu'il fut transféré en Tasmanie, James Brumby fut contraint de relâcher plusieurs de ses chevaux dans le bush, faute de pouvoir les transporter. Lorsqu'on demandait aux habitants à qui appartenaient ces chevaux sauvages, ils répondaient : « Ce sont les chevaux de Brumby ». Le nom est resté, devenant synonyme de cheval sauvage dans tout le pays.

Au fil des décennies, ces chevaux domestiques ont subi une sélection naturelle impitoyable. Dans l'Outback australien, seuls les plus forts, les plus agiles et ceux capables de trouver de l'eau sur des sols arides ont survécu.

L'histoire du Brumby est aussi celle du Waler (le cheval de cavalerie australien). Durant la Première Guerre mondiale, les Brumbies étaient capturés pour servir de base aux chevaux de guerre. Leur endurance légendaire et leur pied sûr, forgés par la vie sauvage, en faisaient des montures exceptionnelles pour les troupes australiennes dans le désert du Sinaï et en Palestine.

À la fin du XIXe siècle, le Brumby est entré dans la mythologie nationale grâce à la littérature. Le poème d'A.

B.« Banjo » Paterson, The Man from Snowy River (1890), décrit la poursuite épique d'un étalon Brumby échappé. Ce récit a cimenté l'image du Brumby comme un symbole de la liberté indomptable de l'esprit australien, transformant un « animal errant » en une icône culturelle.

L'histoire récente du Brumby est marquée par une controverse intense entre patrimoine culturel et protection de l'environnement.

Avec l'augmentation massive de leur population au XXe siècle, les Brumbies ont été accusés de dégrader les écosystèmes fragiles des Alpes australiennes (comme le parc national de Kosciuszko) et des zones désertiques. Cela a conduit à des campagnes de culling (abattage) très contestées.

Aujourd'hui, l'histoire de la race est celle d'une lutte pour sa reconnaissance en tant que « race historique » méritant protection, face à son statut officiel d'espèce invasive.