Initialement issu des sujets du Quarter Horse qui possédaient une taille inférieure à 1,47 mètre, à une époque où cela n'était pas accepté dans son registre, le Quarter Poney est une race dont la sélection est essentiellement basée sur un modèle de chevaux de type « western » de petite taille.

Fondée en 1964, l'« American Quarter Pony Association » enregistrait auparavant les sujets dont les origines étaient inconnues. De nos jours, seuls ceux de pure race ou issus de croisements sont acceptés. Afin de préserver le Quarter horse « petit format », la « National Quarter Pony Association » est fondée, puis en 1970, l'« International Quarter Pony Association » va voir le jour afin de permettre l'enregistrement du Quarter pony à l'échelle mondiale et les poneys de type « Quarter horse ».

Finalement l'« American Quarter Pony Association » et l'« International Quarter Pony Association » vont devenir une seule organisation en 2005 où presque 3 000 Quarter pony sont déjà enregistrés.