Il y a eu différentes étapes dans le développement de la race. De 1890 à 1920, il a été influencé par le Breton et l'Ardennais de France ainsi que l'Hackney du Royaume-Uni. De 1950 à 1965 par l'Anglo-Normand de France, le Trakehner de Suède, l'Arabe de Pologne et l'Arabe Shagya de Hongrie.
En tout état de cause, la naissance de la race, selon le Haras National d'Avenches, remonte aux années 1850, et, le Franches Montagnes actuel résulte de croisements entre des juments du Jura et des étalons d'origines très diverses comme l'Anglo-Normand, le Norique et l'Ardennais. La race subit des croisements avec le Hunter ou le Hackney peu après la venue au monde de Vaillant en 1891 à Saignelégier, un étalon de sang Anglo-Normand, dont les gènes existent encore dans beaucoup de reproducteurs actuels. Le résultat est un cheval puissant, pas trop lourd, robuste et sobre, élevé dans le rude climat de montagnes.
Longtemps confondu avec le Comtois, du fait qu'il a longtemps évolué non loin de lui et que de nombreux croisements ont eu lieu entres les deux races du XVIIIème siècle au XIXème siècle, le Franches Montagnes sera, au cours de sa longue histoire, menacé d'extinction à plusieurs reprises, notamment à cause de l'arrivée du chemin de fer, de l'industrialisation et de la généralisation de la motorisation. Il est étonnant que la race soit parvenue à traverser toutes ses épreuves, surtout lorsqu'on sait qu'historiquement elle n'a reçu que peu de soutiens de la part des autorités.
Après la seconde Guerre Mondiale (1939 à 1945), le Franches Montagnes va connaître un déclin sans précédent. Pour endiguer une extinction plus que probable, la race fut élevée pour sa viande et croisée avec des chevaux plus lourds, de manière à augmenter sa masse. Mais cette démarche, contestable, n'empêcha pas le cheptel de continuer à diminuer. On croisa alors la race avec des chevaux plus légers, pour une utilisation agricole, militaire ou de loisirs, et malgré ces mesures, beaucoup d'agriculteurs l'élevaient encore pour la boucherie et l'effectif n'augmentait toujours pas.
C'est avec l'officialisation de l'élevage du « cheval du Jura » en 1960 et les mesures de soutiens prises dans les années 1970 que la race connut un nouveau souffle. Le Franches Montagnes sera croisé avec des demi-sang originaire de Suède pour que le modèle de la race soit anoblit. Afin de promouvoir la race, la Fédération suisse du Franches Montagnes (FSFM) est fondée le 1 janvier 1997, date qui correspond à la fermeture définitive du Stud-book à tout apport de sang extérieur. Par ailleurs, le sperme et le matériel ADN sont stockés dans le réservoir génétique national d'Avenches en Suisse, qui conserve le Stud-book d'origine de la race.
En France, le Franches Montagnes, qui a eu des débuts timides, fait des émules parmi les amateurs d'attelage, et en 2002, trois étalons approuvés seront recensés dans le pays.