Probablement issue du Mongol, le Kalmouk est une race qui a été croisé avec le Don et ensuite influencée par le Bashkir, le Kazakh, le Kabardin, l'Anglo Arabe et l'Orel. Proche du Kirghiz, il est originaire de la région de la République de Kalmoukie, d'où son nom, où il va être amené par des nomades provenant de la Dzoungarie, située au sud ouest de l'Altaï, au cours du XVIIème siècle.

Très prisé par la cavalerie jusqu'aux années 1740, ils vont perdre de leur popularité face à la demande croissante des militaires, qui vont finir par lui préférer le Kazakh. C'est au XVIIIème siècle que la race va être signalée par Peter Simon Pallas, période pendant laquelle on va recenser plus de 230 000 individus, ce qui correspondait à 19% du cheptel en Russie. Au cours du XIXème siècle, le nombre va encore augmenter pour atteindre les 500 000 sujets et ceci jusqu'au XXème siècle.

Mais cette croissance va brutalement être interrompue par la Seconde Guerre Mondiale, entre 1939 et 1945, et le déclin sera sans précédent. Les chevaux laissés à l'abandon par les éleveurs, qui ont été déportés, meurent les uns après les autres, jusqu'au point où la race va être considérée comme éteinte. Ce n'est qu'en 1957, que les éleveurs vont retrouvés leur terres et leurs chevaux, qu'ils s'efforcent de préserver depuis.