飞不得不下令班师，消息一出，百姓纷纷涌向军营，哭诉道：“我等戴香盆、运粮草以迎官军，金人悉知之。相公去，我辈无噍类矣。”岳飞走出营门，含泪取出诏书对众人道：“金牌在此，吾不得擅留！”营门外哭声一片，声震原野。

    鉴于当地百姓的安危，使者同意岳飞留军五日，掩护当地百姓迁移襄汉。大军交由张宪班师回鄂州，按诏令，岳飞只身前往行在。临行前，岳飞将三子岳霆带在身边，与马前张保，马后王横经五郎关过江，并将岳霆留在五郎关。

    岳家军尚在班师途中，岳飞尚未过江，得知金兀术卷土重来，被岳家军攻占的郑州、怀洲、孟州、河南府等，又回到金人手里。岳飞只能仰天长叹道：“所得诸郡，一旦都休！社稷江山，难以中兴！乾坤世界，无由再复矣！”