多年无战事，驻军垦荒，百姓休养，大宋民间积蓄了不少粮食，而府库也开始有余粮。
北方的西金和东金遭受白灾闹饥荒，都向汴京购粮，汴京没有拒绝。
现在是积蓄国力的时候，盟约还在生效，拒绝卖粮不合时宜，对汴京也无好处，当然在对方困难时期，汴京也不会做一个单纯的好人，便把粮价稍稍提高了三成。
通过这场交易，汴京又赚了一笔钱，购进了几千匹马。
随着汴京渡过了迁都前几年的难关，府库开始有余粮，户部和内库开始有金钱结余，朝堂上有人开始重提收复关中、河东，收复真定府、河间府。
手里有了几个钱的皇帝赵昚也热切起来，几次召杨丛义等人议论兵事，问何时可以北伐，收复北方故土。
一开始，杨丛义不说话，点名之后，便答时机尚不成熟，匆忙北伐于大宋不利，至少还得五年时间准备，如若不然，必败无疑！
几次议事之后，赵昚便不再问杨丛义意见，再后来也不再召见。
杨丛义在朝堂上成了摆设，他不主动言事，赵昚也不主动问他，两人之间的关系逐渐变冷。
善于察言观色的文臣言官不等提醒，马上会意，纷纷上书弹劾杨丛义。
弹劾理由从杨府日常生活铺张浪费，不遵从皇帝提倡的节俭之风这等小事，到杨丛义与边关统兵守将互动频繁、与地方帅司私交甚密等事关天下稳定的大事，捕风捉影，不尽不实。
面对诸多弹劾，杨丛义没有自辩，除了宰相史浩，更是无人替他说哪怕是一句话。
原本还想留在朝中参与天下大局，好为日后北伐再做准备，眼见满朝文武和赵昚的态度，杨丛义无话可说。
隔日，向皇帝上了一道奏疏，以旧疾复发，需要离京去山中休养为由，请辞枢密院副使之职。
赵昚没有驳回，只是让内侍传话，不得远离汴京，并传话道，离京时会派皇家禁卫护送随行，沿途保护他的安危。
五月二十六日，皇帝赵昚下诏，御史中丞周振签书枢密院事兼权参知政事。
同一天，杨丛义携家眷在五十名皇宫宿卫军护送下离开汴京，一路南下。
六月初十行至许州，遇城不入，也无州府官员出城迎候。
六月二十八日，杨丛义一行路过汝州叶县，城内停留两日，未见当地官员。
七月十九日，一行人在禁卫护送下到达邓州，同样未见任何官员，也没多做停留，次日便继