：“我是武安军大帅麾下先锋大将李唐。你们不听号令，特来问罪。你又是何人？”杨慕远答：“我是衡州刺史的三弟杨慕远，你们快快退回，否则叫你们丧命于此。”李唐哈哈大笑数声，说：“井底之蛙，竟敢狂言。我倒是要劝你立刻下投降，否则让你尸骨无存！”

杨慕远然大怒，又见李唐兵不多，当即挥军掩杀过来。他打算以多欺少，以众击寡，速战速决。李唐久经沙场，不慌不忙列阵相迎，并派人知会后面不远的李琼。李唐和杨慕远两军，展开混战。衡州兵优势在人多，潭州兵却经验丰富，战力悍。两军厮杀了一个多时辰，难分胜负。

杨慕远见状，亲自挥刀跃，冲杀过来。这边李唐枪，迎住杨慕远。两人大战十余回合，难分伯仲。正在双方鏖战之际，李琼率领五千主力赶到。李琼一声令下，全军动，把衡州兵包围了起来。局面瞬间扭转，本来以多欺少的衡州兵，现在被优势兵力的李琼所反包围在中间。

衡州兵毕竟没有经历过恶战。战事顺利的话，他们还有些战意和战力。但一旦陷不利局面，这些士卒顿生退意。那杨慕远正在和李唐鏖战，突然见敌军增多，心生怯意。他这一分神，李唐抓住机会，一枪把杨慕远挑落下。

李琼见李唐得手，随即大声喝：“你们主将已死，还不放下兵投降？”衡州兵一见杨慕远被杀，顿时斗志全消，纷纷抛下兵刃，跪地投降。李琼把这些降兵分散编各营，继续向衡州军。数日后，大军兵临城下。这时秦彦晖也率军赶到，和李琼会师。

原来那杨学远北上之后，自知不是对手，不敢正面迎战。杨学远依托衡山，在要上安营扎寨，准备守不。不久秦彦晖大军来到，随即列阵挑战。杨学远严令不许战，秦彦晖求战不成，只得攻。然后衡山地势险要，秦彦晖猛攻一日，毫无收获，只得收兵回营。

到了夜间，秦彦晖思得一计，让刘勍带领一支兵趁着夜，在当地人的引领下，从山间小路绕到了杨学远山寨的背后。刘勍把士卒分为数，到放火，四下呐喊。与此同时，秦彦晖在正面连夜攻打。杨学远的下大多是没有经历过恶战的新兵，如果只是让他们据寨死守，他们到是能够尽力而为。

衡州的士卒突然见到寨后火起，杀声一片，顿时心慌意，哪里还有心思去防守正面拼命来攻的武安军？不久之后，武安军的士卒就攻上来山寨，衡州兵四散奔逃。杨学远见大势已去，只得带着残兵向衡州逃去。正走之际，路边突然杀一员大将，正是一早就埋伏好的刘勍。杨学远措手不及，被刘勍一刀劈落下。

秦彦晖攻占衡山之后，留下少量人驻守，在衡州降兵的指引下，很快来到了衡州城，却见李琼已经先到。两人一商议，当即在衡州城下列阵挑战。杨师远见城下武安军黑压压的一片，哪里敢城。李琼和秦彦晖见他不，令人举杨学远、杨慕远兄弟的首级，绕城呼，劝说城里军民开门投降。

城内的士卒见到杨家兄弟的首级，自然心中惧怕，杨师远看到两个兄弟血模糊的脑袋，大叫一声，竟然了过去。正在此时，李琼一声令下，武安军架起云梯，四面攻打。城上的守军早已没有心思抵抗，很快被武安军攻上城墙，大开城门，接应李琼等人的大军城。

李琼带着亲兵直奔刺史府衙，秦彦晖则率军清剿衡州兵的残。李琼刚到刺史府衙，就看到杨师远从府中来，正要逃跑。李琼大喝一声，拍舞刀，冲了上来。杨师远无奈，只得举刀相迎。杨师远虽然武艺不弱，但是哪里是李琼对手。又加上此刻他心慌意，手不到数合，被李琼一刀劈死。

李琼和秦彦晖很快肃清残敌，控制了衡州全城。榜安民之后，李琼派人向殷报捷。殷得报大喜，带着郁和姚彦章，率领亲兵军来到衡州。殷令李琼和秦彦晖移军城外，修整过后，继续南下。衡州重地，自然要让一个信得过的人镇守。