Résultat d'un élevage sélectif qui a débuté au XVIIème siècle, le Quarter Horse a des origines liées au Cheval Colonial Espagnol, amené par les conquistadors au XVIème siècle, aux chevaux anglais, principalement des Irish Hobby d'Irlande ou des Galloways, au cheval Canadien et au Morgan.
D'autres races sont citées, comme l'Arabe, le Chickasaw et le Barbe Espagnol, mais tout le monde de s'accorde pas sur l'importance ou l'existence de leur influence.
C'est par l'intermédiaire des premiers colons de la côte-est des États Unis, que l'histoire du Quarter Horse va s'amorcer, plus particulièrement dans l'État de Virginie.
Les américains vont croiser leurs chevaux avec les populations déjà élevées sur le territoire par les autochtones d'Amérique. Parallèlement, la colonisation espagnole s'accompagnera de la propagation des chevaux ibériques vers le nord.
Le facteur le plus déterminant quant à la naissance du Quarter Horse, c'est l'engouement pour une discipline populaire dans les années 1960, les courses de chevaux sur de courtes distances, environ 400 mètres, connue sous le nom de « Quarter-Mile ».
Probablement nées dans le comté de Henrico situé dans l'État de Virginie, elles se pratiquent entres deux concurrents dans des rues en ligne droite, sur des chemins ruraux, ou dans des champs.
Initialement, les races utilisées ne retenaient pas l'attention des cavaliers, par contre les noms de « Quarter-Pathers », de « Short Racing Horses », et plus rarement de « Short Horses », vont faire leur apparition pour distinguer les chevaux spécialisés dans cette discipline.
Pendant près de 150 ans, il va continuer à s'illustrer dans ce domaine, et va être connu sous le nom de « Celebrated American Quarter Running Horse ».
Au milieu du XIXème siècle, les courses longues distances vont passionner davantage, et le Quarter Horse sera incapable de rivaliser avec le Pur Sang. Il va être délaissé et cela va provoquer un véritable effondrement de son élevage dans l'est.
Afin de revaloriser le Quarter Horse, les croisements avec le Pur Sang vont se généraliser, ce qui va corriger certains de ses défauts, dont son manque d'endurance. L'intégration dans ses gènes du Mustang et de chevaux de l'ouest, va lui donner un véritable don pour le travail avec le bétail, qui va le rendre indispensable dans les fermes, et lui donner le surnom de « Cow Horse ».
A partir des années 1910, des éleveurs vont se mobiliser pour l'encadrement des lignées du Quarter Horse, nommé à l'époque « Steel Dust ».
Au début du XXème siècle, les premières initiatives de développement d'une race de chevaux associant l'agilité, la vitesse, l'intelligence et le sens du bétail, vont avoir lieu. A cette même époque, un étalon, qui appartenait à George Clegg, va devenir l'un des fondateurs.
Nommé plus tard « Old Sorrel », il va être le père de Wimpy, le premier étalon enregistré en tant que Quarter Horse par l'« Association Américaine du Quarter Horse », fondée en 1940 à Fort Worth. Wimpy est donc inscrit sous le numéro 1 dans le registre généalogique de la race.
Quand le Quarter Horse va perdre une partie de ses débouchés, les éleveurs vont mettre en avant ses capacités dans le domaine du loisir. Ensuite son élevage va prospérer sur tout le territoire américain, puis va se développer dans le monde entier.
Le Quarter Horse est issu des chevaux locaux croisés avec le Cheval Indien Américain, des chevaux Ibériques, des chevaux anglais, du Mustang, du Canadien et du Morgan. Selon certains, l'Arabe aurait jouer un rôle, mais cela est peu probable, les chevaux des autochtones Chickasaw seraient les principaux ancêtres, le Pur Sang aurait eu une influence déterminante, et les chevaux espagnols auraient majoritairement contribué à sa formation, par l'intermédiaire du Barbe Espagnol.
Son adresse pour le travail avec le bétail, sa vitesse et sa réactivité, ont été de précieux atouts pendant le développement massif de l'élevage bovin dans les plaines de l'Ouest. Le Quarter Horse, qui est probablement un des seuls chevaux du monde à réunir autant de qualités, a bien mérité sa notoriété internationale.