东坡前去时，子由只能给他七千缗，供他家人在宜兴安居之用。他从子由处回来，发现又官降一等，但到南雄的派令并未改变。他给皇帝上了一道使人读之恻然的表章，请求允许乘船南下，做为对老师的一点儿恩宠。他怕陆行一千五百里，会身染重病而死于道侧。所请得蒙恩准，他送全家，包括三个儿媳妇到宜兴的苏家。大家泪眼相望，苏东坡决定只带朝云和两个小儿子同行。
他们到了南京对岸的仪真，已经是六月天气，迫害元佑儒臣的行动正在雷厉风行，名公巨卿之遭流放者，已有三十余人。苏东坡现在是第三次降官。他已经不够太守的资格，而是改派到广州渔东七十里的惠州充任建昌军司马。情况已完全不同，他决定让次子回宜兴农庄去，自己只携二十二岁的儿子苏过、朝云、另外两个老女仆前往。他的门人张耒，这时是靖州太守，派遣了两个老兵一路伺候他。
但是沿途穿过美丽的乡野，经过高山深谷，看动人心神的急流高山，苏东坡都充分观赏。他坐的是一只官船，在九江以南邵阳湖停泊时，出乎他意料，第四道命令又来到，又把他贬低官阶。运输官听到这条命令，派一队兵来要将船收回。兵来到时正是半夜。苏东坡与军官商妥，许他在船上住到次日中午。这时离通往南昌的湖上码头还有十二里。他若运气好，明天午前能到南昌，就安全无事；若遇逆风，他和全家以及行李就只好被抛下船来。他到龙王庙去祷告，因为龙王是主管水上安全的。他向龙王陈明他如今身陷困难，他说明天早晨若到不了目的地，便须露宿野外了。他刚一祷告完毕，一阵强风吹来，船帆涨满，船向前行走极快，还不到吃早饭时间，船就到达了。后来，在他回程时，他写了一篇祭文，向龙王道谢。
在九月，他跨越有名的大庾岭，大庾岭在中国古代为赴广州的旅客必经之地。这道关隘是一条遥远危险的旅途，通过之后，便到了另一个境界，多少旅客往往是有去无回的。一条铺石头的路，在关隘两侧各有三四百码长，道旁有浓荫茂密的树，为旅客遮蔽太阳，供旅客歇息。行人到此，不由喟然兴叹，多在岩石上题诗寄慨。立在此处山峰上，头上云天，不过飓尺，苏东坡觉得自己犹如梦游，不复知自己肉体之躯在何处所了。从那样高处，他能看到人的渺小，行为的卑鄙，山上的清风把他胸中的尘思俗念，一扫而空。横过了关隘之后，他游历今日的南雄和南华寺，中国佛教禅宗的圣地。
在南雄和广州之间，他碰见道士老友吴复古。从
