虽然总的来说双方还是盟友关系，但是回鹘人经常恃强凌弱、仗势欺人，甚至曾经发生过这样的事情：有个回鹘人犯了罪，在长安被有司关到了监牢里边，然后其他回鹘人竟然集合起来，去监狱里边劫狱抢人，而唐朝中央政府却对此无可奈何。在马匹贸易上更是如此，一是回鹘人的马价不容唐朝人商讨，还有就是回鹘人供应什么马，唐朝人就要接受什么马，以至于唐朝每年买的马质量良莠不齐。但是还是那句话，有总比没有好。虽然每年给回鹘的买马钱造成了唐朝财政方面巨大的压力，但是起码马匹的来源多多少少算是有了保障。
陆上丝绸之路的衰落，与当时的政治形势是密切相关的。因为丝绸之路上不光只有唐朝和吐蕃的问题，葱岭东西的政治局势也颇为复杂。葱岭以西的中亚河中地区，逐渐被大食占据。而葱岭以东当时主要是吐蕃的势力范围。结果到了唐朝的后期，尤其是回鹘在北方草原上被黠戛斯击败之后，回鹘政权瓦解，一部分回鹘人又逃往了西域地区，结果逃到这儿之后又与吐蕃之间发生了矛盾，而吐蕃与大食之间也有矛盾，互相攻斗不止。这就导致了当时内地通往西北边疆的“道路梗绝，往来不通”。
