高适计划与李希言一同乘船南返，于是经由临淮赶往山阳。到了山阳以后,换上了平稳舒坦的大船，终于可以喘口气休息一阵，但天有不测风云，船到高邮时，突然下起了连天大雨，坐落于此间的船闸因此而损坏，不能开合。无奈之下，两人又只得与一干随从上岸，转而骑马，沿着运河左岸直下扬州。
抵达扬州时，已经是数日之后的事情了，恰逢浙西观察使李峘也乘船顺着长江抵达了。江夏之行对他而言，收获颇丰，结果远远超过了预期。
高适听说来瑱愿与之一同起事，清君侧，也很高兴。李峘还带来了一封由来瑱亲笔所写的书信，上面详细的阐明了他的立场，以及淮南西道的兵马情况，若要起兵则可逆流西进，直取江陵，一旦控制江陵，则整个江南之地将稳如泰山，神武军再想伸手进来，恐怕将会付出可怕的代价。
李希言看了来瑱的书信以后也十分兴奋，自打安禄山攻陷洛阳以来，江陵囤积了大量即将送往长安的粮秣，而且此地又是控扼长安的冲要，乃兵家必争之地，来瑱若能分兵进击江陵，势必将使神武军四面不能相顾。
“来瑱若能顺利攻下江陵，此番举事便先成了一半！”
不过，李峘带来的不止好消息，还有一些坏消息。
“镇海节度使刘展曾秘密与来瑱通信，怕是预谋不轨，如果不能了解此人的底细，也恐将是个隐患”
李希言则一摆手道：
“刘展其人只是性子急躁了些，某曾与之有过几次深谈，若说他急着起兵倒是合乎其一而贯之的性格，但也仅此而已，不如某返回江南之时，顺便去一探口风，也好安了诸位的心！”
李希言的话还是很有分量的，当初永王李璘谋反时，在朝廷还没有派来节度使平叛时，就是此人率先带着江南地方官吏予以抗击。
“既然如此，便有劳李观察了！”
高适对刘展的印象并不好，如果此人有叵测之心，他不介意痛下杀手，但如果像李希言所说的，仅仅是性情急躁，他也有足够的耐心予以包容。
如果要起兵勤王，首要不单单是练兵，更得团结江南地方一切可以团结的力量。
李希言在渡江南返之前又向高适提出了一个颇为中肯的建议，为了麻痹神武军，可以运送一部分江南的租庸调到洛阳去，这样可以使他们进一步的放松警惕。高适接纳了这个建议，并立即加以实施。
仅仅三日后，第一批粮食就已经装船，由扬州沿着大运河开始北上了。