张九龄为相，明皇欲以凉州都督牛仙客为尚书，执不可。曰：“仙客，河湟一使典耳，擢自胥史，目不知书，陛下必用仙客，臣实耻之。”帝不悦，因是遂罢相。观九龄集中，有《赠泾州刺史牛公碑》，盖仙客之父，誉之甚至，云：“福善莫大于有后、仙客为国之良，用商君耕战之国，修充国羌胡之具，出言可复，所计而然，边捍长城，主恩前席。”正称其在凉州时，与所谏止尚书事，亦才一年，然则与仙客非有夙嫌，特为公家忠计耳。
张九龄任丞相，唐明皇想让凉州都督牛仙客当尚书，张九龄坚决不同意，说：“牛仙客是河湟地方一个使典罢了，从小吏提拔上来，又不识字，陛下一定要用牛仙客当尚书，我实在感到耻辱。”明皇不高兴，因此就免去了张九龄的丞相。我看张九龄的文集有《赠泾州刺史牛公碑》 ，是记牛仙客的父亲，评价很高，说：‘福分都超不过有好后代，牛仙客是国家的贤臣，用商鞅奖励耕战的法术，充实赵充国治胡羌的内容，言必行，行必果，定计就能实现。捍卫长城，皇恩隆重”。正是写的牛仙客在凉州时，张九龄拦阻他任尚书的事件。时间才一年，那么张九龄并不是和牛仙客有旧怨，只不过是为国家尽忠而已。