Originaire de la province du même nom située au nord est de la Chine, le Jilin est une race issue du Mongol locale qui a, dans un premier temps, été croisé, au cours de l'année 1950, avec l'Ardennais et le Don, et plus tard avec le Trait Soviétique, le Trait Vladimir et le Kabardin.
Le développement de la race est né du besoin de posséder des chevaux plus puissants pour les travaux agricoles, mais qui pouvait aussi convenir sous la selle. Initialement deux types vont voir le jour, un lourd et un autre plus léger, qui vont être croisés entre eux. C'est à partir de 1962, quand l'étalon Su-Yi va être utilisé, que la race va enfin avoir le modèle désiré, convenant autant à la traction qu'à la selle.
Même si elle a été reconnue au cours des années 1970, le standard n'est pas complètement établi.