Né de la volonté de posséder un cheval de trait pouvant assurer tous les travaux agricoles et forestiers, le Nivernais est développé au cours de l'année 1872, par le maire de la commune de Nevers, le comte Charles de Bouillé, qui était aussi le président de la chambre d'agriculture à l'époque. Pour y parvenir, il va croiser des juments du Morvan et des étalons de race Percheron, qui auront, pour la plupart, une robe de couleur noire.

Reconnue dès la fin du XIXème siècle, en 1880, la race va très vite remplacer le Bidet du Morvan, qui bien que fort et résistant, a perdu sa popularité avec l'arrivée de celle nouvelle race. Ce ne sera pas la seule conséquence, en effet, l'officialisation du Nivernais favorise son élevage et des concours se mettent en place comme. Si initialement il était élevé uniquement dans la Nièvre, la race va arriver dans l'Allier, le Cher, l'Indre et en Saône et Loire.

En 1901, le syndicat des éleveurs nivernais va distribuer des primes aux meilleurs lors de son concours d'automne et en 1904, le Nivernais va participer pour la première fois à un concours officiel, comme une race à part entière, où il va se mesurer au Percheron, au Boulonnais et au Breton.

Malgré leurs réticences à accepter le Nivernais en tant que race, les haras nationaux finiront par admettre ses qualités, et en 1910, ainsi qu'en 1911, ils vont acquérir trois étalons Nivernais pour la reproduction dans les dépôts d'étalons.

Comme la majorité des races de trait, le Nivernais va être très affecté par la généralisation de la mécanisation, et son seul débouché sera la production de viande. Malheureusement, contrairement au Percheron, la race ne produit pas une viande de qualité, et cela va pousser des éleveurs à renoncer à sa production.

En 1966, le Nivernais n'est plus considéré comme une race, mais comme une variété du Percheron, qui se différencie de part la couleur de sa robe et l'influence de son environnement naturel. Bien entendu les éleveurs restant refusent d'accepter cette déclassification.

Quand en 1980, le Nivernais aura disparu des concours, les éleveurs en seront affecté et craigne sa disparition prochaine.

C'est à partir de 1982, lorsque le Parc Naturel du Morvan, qui voit la race comme un patrimoine, met en place un programme de conservation, que l'espoir va renaître. Deux ans plus tard, 80 sujets possédant, plus ou moins, du sang Nivernais, seront recensés et la race va devenir l'emblème du Parc Naturel du Morvan.

L'association « Les Écuries du Morvan », créée par des agriculteurs locaux, vont reprendre en main la race et la promouvoir, avec le soutien des haras nationaux, du Parc Naturel du Morvan et de l'office national des forêts, des formations vont être effectuées. Grâce à tous ces efforts, la Société Hippique Percheronne, va garder une section spéciale pour le Nivernais. Même si la plupart des chevaux Nivernais sont difficiles à différencier du Percheron quand ils portent la même robe, les éleveurs souhaitent toujours reconstituer la race telle qu'elle était autrefois, en dénichant les sujets les plus représentatifs.

De nos jours, la majorité des organismes, comme les Haras Nationaux ou la FAO, considère le Nivernais comme une race éteinte, ce n'est pas l'avis du Syndicat Hippique Percheron de la Nièvre, qui s'occupe de la gestion de la race.