Développé suite à la naissance, en 1960, du futur chef de race, un étalon nommé « Pogo », le Virginia Highlander est une race issu de ce dernier, probablement le résultat du croisement entre le poney Gallois Welsh, le Tennessee Walker et l'Arabe. Sa démarche atypique interloqua son propriétaire, nommé Monsieur Pugh, depuis décédé, qui décida de mettre en place un programme d'élevage à partir de ce petit étalon.
Pour ce faire, il croisa le petit étalon, ainsi que ses descendants avec le Morgan, le Welsh, le Tennessee Walker, l'Arabe, le Hackney et l'American Saddlebred, et ne conserva que les sujets dont la morphologie et les allures à quatre temps étaient similaire à « Pogo ». Les deux premiers étalons à figurer sur le registre seront « Ridge » et « Pugh's Red Cloud ».
Au fil du temps, le cheptel s'est agrandit, et la « Virginia Highlander Horse Association » fut créé en 1990, avec un cheptel de base d'une vingtaine d'individus, dont 20 juments et deux étalons, qui seront enregistré dans le Stud-book, lors de sa création en 1991.
Depuis 2002, la « Virginia Highlander Horse Association » a été dissoute, et le dernier recensement connu, effectué en 2004, indiquait un effectif de 130 individus.