卫伯玉两次挤兑走了神武军前来筛选军卒的官员，他现在既出了一口恶气，又觉得很是憋屈。明明自己在此前一役中是勤王有功的，可哪曾想到天子不公，非但不加以褒奖，反而耍起了明升暗降的手段。
龙武军将军秩级为正三品，比起在陇右节度使麾下做个小小的兵马副使不知风光了多少倍。但卫伯玉宁愿还做神策军的兵马副使，原因无它，现在满朝上下谁不知道天子要**龙武军，让他做这个将军其意不言自明。
可卫伯玉尽管怨气冲天，又哪敢对天子有半点公然不逊，所以打掉了牙齿也只能往肚子里咽，终日无所事事下借酒浇愁。后来，还是军中的一个书办解开了他心底的疑惑。
那书办原本是依附于军中的族人乃是陈玄礼的亲信，陈玄礼倒台以后，他的族人也跟着一并贬出军中，所以这书办为了寻个新的靠山，就主动向卫伯玉示好，壮着胆子给卫伯玉分析了一番，天子因何赏罚不公。
说穿了，卫伯玉乃是哥舒翰旧部，包括一众陇右的将令，也多出自哥舒翰帐下。而哥舒翰现在领大军二十万在潼关，几乎是关中全部的唐.军精锐，如果再让哥舒翰的旧部负责长安防务，天子岂能安睡入眠？
书办的话直如一语惊醒梦中人，但卫伯玉知道了因由以后，反而更加沮丧。既然天子对自己的不公乃是出身所致，那同时也意味着，在短期内是无法改变这种现状的，甚至还有可能面临着天子的打压。
冥思苦想了好一阵，卫伯玉才想到了一个好主意。虽然天子赏罚不公，却不意味着他不能在朝中找一个靠山。
靠山的人选有两个，其一是观军容处置使鱼朝恩，而且卫伯玉和鱼朝恩的关系也很不错，两个人从陇右到长安也是相谈甚欢。其二则是杨国忠，虽然目前来看，此人和鱼朝恩相比风头还矮了半头，但他毕竟执政已达六七年之久，比起突兀崛起的鱼朝恩根基要深厚了许多。所以，卫伯玉毫不犹豫的选择了后者。
卫伯玉的投靠对杨国忠而言正如雪中送炭，他也急于在军中培植党羽，两个人正好一拍即合。
投靠了杨国忠以后，卫伯玉自觉有宰相撑腰，心思也渐渐的安稳下来，以为龙武军或许就不会被**。可好心情持续了没有几天，天子一纸诏书下达，就要在龙武军中筛选出万人精锐交给神武军。
这是卫伯玉始料不及的，于是他只好去求助于杨国忠，孰料杨国忠非但不给他撑腰，反而要求他坚决执行天子诏命，配合秦晋尽快解决筛选精锐的问题。