Tout comme la race bovine du même nom, le Florida Cracker Horse est issu du bétail, comprenant des chevaux, des vaches et des porcs, amené par les conquistadors espagnols, qui, souhaitant pouvoir ramener avec eux le trésor qu'ils avaient amassés, ont choisit de le laisser derrière eux sur le Nouveau Monde.

Très proche de celui du Mustang espagnol, du Paso Fino, du Paso Péruvien, du Criollo et d'autres races développées à partir des chevaux initialement introduits par les Espagnols dans les îles des Caraïbes, à Cuba et, plus généralement sur le continent américain, le patrimoine génétique du Florida Cracker Horse est un dérivé du cheval ibérique du début du XVIème siècle qui comprenait le sang du Barbe d'Afrique du Nord, du Sorraia et du Genet d'Espagne.

Le nom de ce petit cheval espagnol agile, essentiel pour le travail du bétail, provient des « cowmen » (hommes de vaches) de Floride qui ont été surnommés les « Crackers » en raison du bruit que faisait leur fouet lorsqu'il étaient utilisés. Toutefois, la race, au fil du temps, a été connue sous d'autres noms comme le « Chicksaw Pony », « Seminole Pony », « Marsh Tackie », « Prairie Pony », « Florida Horse », « Florida Cow Pony » et « Grass Gut ». Le nom de « Seminole Pony » vient des indiens Séminoles qui les capturaient et les dressaient.

Dans les années 1930, la race à été très affectée lors de la Grande Dépression, ce qui a conduit à la création d'un certain nombre de programmes de secours. Le travail du bétail devenant de plus en plus exigeant, les Cow-boys se sont tourné vers le Quarter Horse, qui était plus grand et plus fort, et le Florida Cracker Horse a perdu sa notoriété, ce qui a eu des conséquences graves sur l'effectif de la race qui est devenu de plus en plus rare.

Au cours des cinquante dernières années, le Florida Cracker Horse doit sa survie au travail de quelques familles qui ont continué à l'élever pour leur propre usage. C'est la persévérance de ces passionnés et les lignées distinctes ainsi conservées qui ont empêché la race de s'éteindre. Parmi elles, on peut citer la famille Ayers, Harvey, Bronson, Matchett, Partin et Whaley.

En 1989, la Florida Cracker Horse Association, une société à but non lucratif de Floride, a été créé dans le but de trouver les troupeaux restants et de préserver le Florida Cracker Horse en tant que race espagnole coloniale distincte et unique.

Depuis lors, le registre a été établi et un processus rigoureux a abouti à une race très cohérente.

Le Florida Cracker Horse est reconnu comme un précieux héritage de la Floride, et bien qu'il soit encore rare, on compte, de nos jours, plus de 1000 individus enregistrés, avec une augmentation de ce nombre chaque année.