苏东坡此后一年零八个月的命运足以表示官身不由己。读书人能用别的方法谋生，最好不要做官，他的遭遇便是充分的理由。苏东坡当前的道路，真是崎岖坎坷瞬息万变，一直到他人生的末日，不是出乎他的本意，却与皇后大有关系。皇帝有意使他掌史馆，却被左右所阻。皇帝最后亲书一道旨意，把苏东坡的谪居地由黄州调到汝州（今临汝），汝州离京师较近，生活亦较为舒适。他听到这个消息，是在神宗元丰七年（一○八四）三月初。
他当然躲避这个任命，按他自己的话，这犹如“小儿迁延避学”。人做官不外乎为名为利，或为权势，或为报效国家。我们知道苏东坡非以做官为发财致富之道，至于权势，他根本不愿控制别人。有些人身上有一种天性，他本已有钱有名，但想钻入政治圈儿去，只为了去支配别人。初尝权利的滋味，还颇觉味美，但除少数例外不提，二度竞选美国总统的人，不是不知“何以利吾身”，大概就是身不由己。他去再度竞选，因为他所属的政党要他去竞选。若说报效国家，于理欠通，因为反对派里不是也有人如此呼喊吗？至于为名，苏东坡知道，即便是身为宰相，也不能在他不朽的文名上有丝毫增减。他又何求于政治？他又能有何成就？
在三月初三，他还胸怀坦荡，与朋友畅游甚乐，在定惠院后面商家花园逍遥终日，酒宴之后，他还在一个小楼上酣睡一觉。醒后，漫步踱出东门，在东门看见商店一个大木盆，买下来，预备存水浇瓜。然后沿着一条小溪，进入何氏花园。何家正在房旁添盖厢房，请他稍留，在竹林中喝几盅。一个朋友端出一盘糕，东坡巧予命名为“何甚酥”。大家都喝酒，只有参寥和尚只喝枣汤。苏东坡忽然急想回家。他看见何氏园有橘子树，他要了几棵树苗，要回去种在雪堂的西畔。
两三天之后，消息到来，要把他改调他处。虽然名义上他还是在贬谪中，可是能自由住在一个美丽而富有的城市了。有数天的工夫他犹疑不决，是否应当奏请继续住在黄州。后来又一想，这道新任命是皇帝的一分好意，他终于决定遵奉圣命，放弃东坡的农舍。他数年的辛勤，弃于一旦，也许他还要在别的地方，重新创建一个农舍，一切要从头做起呢。
可是，甚至在他这样困难情况之下，调职之后，他的政敌还不肯把他放松。当时一个作家记了下面一个故事：苏东坡给皇帝上了谢表，皇帝向四周一看，告诉群臣道：“苏轶真是天才。”
他的政敌甚至想在他一篇例行公事的谢表里找
