L'histoire de ces poneys commence bien avant la sélection moderne. Leurs ancêtres étaient les poneys celtes sauvages qui parcouraient les landes du nord de l'Angleterre.

Un tournant majeur survient durant l'occupation romaine. Les troupes auxiliaires, notamment les cavaliers frisons stationnés le long du Mur d'Hadrien, ont introduit leurs propres chevaux lourds et noirs.

Les croisements entre ces chevaux frisons et les poneys locaux ont jeté les bases d'une lignée de poneys noirs, puissants et dotés d'un trot spectaculaire, caractéristiques que l'on retrouve encore aujourd'hui chez les poneys des Pennines.

Au Moyen Âge, ces poneys étaient connus sous le nom de Galloways. Ils étaient les montures préférées des « Border Reivers » (pillards de frontière) en raison de leur endurance phénoménale et de leur capacité à se déplacer rapidement en terrain marécageux et escarpé.

Leur rôle économique est devenu central avec le développement du commerce. Ils servaient de poneys de bât pour transporter le plomb des mines des Pennines vers les ports de la mer du Nord et de la mer d'Irlande, ainsi que pour le transport de la laine, du sel et du charbon. Un convoi pouvait compter jusqu'à 20 poneys, chacun portant des charges dépassant les 100 kg.

Dans les Dales (Est) : Le poney a été croisé avec du sang de trotteur Norfolk et de Cob pour gagner en taille et en puissance afin de travailler dans les mines de plomb et pour l'agriculture de montagne. C'est la naissance du Dales Pony.

Dans les Fells (Ouest) : Le poney est resté plus proche de l'ancien type Galloway, plus léger et plus rapide, utilisé principalement pour le gardiennage des moutons et le transport rapide sur les collines de Cumbria. C'est le Fell Pony.

Le XXe siècle a failli sonner le glas de la race. Durant la Première Guerre mondiale, les meilleurs étalons et juments furent réquisitionnés par l'armée britannique pour le transport de l'artillerie légère et des munitions sur le front. Beaucoup ne revinrent jamais.

La motorisation de l'agriculture et des mines dans les années 1940 et 1950 a rendu ces poneys obsolètes. En 1955, on ne comptait plus que quatre poulains Dales enregistrés. La situation était tout aussi critique pour le Fell.

Le sauvetage de ces races est l'œuvre de passionnés et d'éleveurs locaux qui ont refusé de voir leur héritage disparaître.

En 1963, la Dales Pony Society est restructurée pour sauver le noyau restant.

En 1970, grâce au patronage de la famille royale (notamment le Prince Philip qui utilisait des Fells pour l'attelage), la popularité des poneys des Pennines est repartie à la hausse.