路都是自湖南经灵渠至桂州，沿桂江南下至梧州，再沿郁（西江）到广州。作为接纳中原技术、人的第一站，桂州的开发程度要胜过后世闻名的那些岭南大城。当年赵构还是王的时候，府邸就是设在桂州，后来他成了皇帝，桂州也沾光升成了静江府。

负责广西一路的经略安抚转运大使就是坐镇于静江府，而此时担任此职的是吕师夔。他是庞大的吕氏军政集团的一员，乃故国公吕文德之，与襄吕文焕、庐州吕文福等一方诸侯都是近亲，还有个夫叫范文虎。

吕氏一族一向与贾似关系密切，所以在有了国这个封国之后，族中弟仍然能在各地担任军政要职。不过这个家族庞大无比，在临安事变后也表现各异。现国公吕师望保持中立，两不相帮，淮东的吕文福倾向临安和东海国，而静江的吕师夔则对靖安朝廷表示了支持。一家人多下注，谁胜谁负都巍然不动，而各方为了拉拢他们，也只能视而不见。

现在，吕师夔正是应贾似之邀，提兵东，与黄万石一左一右，夹住了中间的衡州。若是只有黄万石一军，李芾还可以凭湘江抵抗一番，然而现在背后又来了吕师夔的大军，那可真是没办法了！

形势所迫，尹谷也拿定了主意，对李芾一揖，说：“大使，非我不敬朝廷，实乃此时此势万不能相抗，还请见谅了。”

李芾一愣，随即怒气涌了上来，指着尹谷“你、你……”地说不话来。但他也知确实事不可为，没法指摘尹谷什么，只得哼了一声背过去，不说话了。

尹谷又上前小声劝：“大使，青山尚在，莫要固执了，留得有用之在，日后未必没有转圜的机会。”

然后他又转向黄万石，大声地说：“大军既至，下官也不愿逆势而动，还请黄使善待衡州父老！”

黄万石立刻喜上眉梢，刚要说几句勉励的话，尹谷就又开了：“还有一事！同是宋臣，还请黄使莫要难为了李使，便让他乘船北去吧！不然，我便不得不请他先城暂避，然后择机再送走了。”

李芾闻言一凛。

黄万石也是眉一皱，这尹老真是古不化，明明都要投了还得下个绊，会不会官人啊？但权衡一阵，他还是觉得解决前的麻烦比放虎归山可能引发的麻烦更重要，于是便：“那好，我也不是不通情理之人，既然耕叟不愿负了义，那我这个顺人情又如何？李叔章，你可以速走了，莫要误了大局和自家命！”

李芾立刻怒目瞪了过去，但再瞪也瞪不走对面的士卒，于是便只能认清形势了。

很快，尹谷换船带了当地兵丁乘船在江上戒备。李芾带人匆匆收拾，便上了官船离开了衡州，北上时顺风顺，速度倒是快了不少。在他走远后，尹谷便派船助黄万石渡河，将衡州之地的大权拱手让了去。

李芾回到潭州之后，立刻整军备战起来，防备黄万石乘势北上。不过一时间他不可能整理太多力量来，而潭州在东、南两面都受靖安朝廷势力威胁，形势危急，所以他便向北边的京湖制置使汪立信求援。