吴佩孚所部撤防是从一九二零年五月二十日开始。
他事前曾电请张敬尧派员到衡州协商接防问题。张敬尧派湖南暂编第二师师长吴新田为“主持湘南防务司令官”，于二十一日到衡州，与吴佩孚及湘军代表签订条约，南北两军维持原有停战界线，湘直两军停战协定继续有效。
直到吴佩孚所部撤防的前夕，北京政府才有电报批准直军撤防。这样也就使吴部的北归，有了合法性。
吴佩孚所部开拔时作环状队形的布置，主力居中，湘江两岸各设掩护队，前方设有侦察兵，后面设有殿卒。大军扬帆而下，全军齐唱吴所亲撰的《登蓬莱阁歌》。
途中吴秀才诗兴大发，写下《回防途次》，诗曰
行行重行行，曰归复曰归。
江南草木长，众鸟亦飞飞。
忆昔赴戎机，长途雨雪霏。
整旅来湘浦，万里振天威。
孰意辇毂下，妖孽乱京畿。
虺蛇思吞象，投鞭欲断淝。
我今定归期，天下一戎衣。
舳舻连千里，旌旗蔽四围。
春满潇湘路，杨柳正依依。
和风送归鸟，绿草映晴晖。
少年惜春华，胜日斗芳菲。
来路作归程，风景仍依稀。
周公徂东山，忧搀亦畏讥。
军中名将老，江上昔人非。
建树须及时，动静宜见几。
何日摧狂虏，发扬见国威。