海南岛那时是在宋朝统治之下，但是居民则大多是黎人，在北部沿岸有少数汉人。苏东坡就被贬谪到北部沿岸一带去，这中国文化藩篱之外的地方。元佑大臣数百个受苦难折磨的，只有他一个人贬谪到此处。朝廷当政派为防止元佑诸臣再卷土重来，在那一年及以后数年，决定惩处或贬谪所有与前朝有关联的臣子。苏东坡贬谪到海南岛不久，司马光后代子孙的官爵一律被削除，好多大官都予调职，其中包括苏子由和范纯仁，调往的地方不是南方就是西南。甚至老臣文彦博，已经九十一岁高龄，也没饶过，不过只是削除了几个爵位。打击苏东坡最甚的就是凡受贬谪的臣子，其亲戚家族不得在其附近县境任官职。因为苏迈原在南雄附近为官，现在也丢了官职。
现在苏东坡所有的，几乎只有那一栋房子了。按照他名义上的官阶计算，朝廷三年来欠他两百贯当地的钱币，按京都币值计算，是一百五十贯。所欠的官俸既未发下，苏东坡写信给好友广州太守，求他帮忙请税吏付给他。这个朋友王吉曾经听苏东坡的话兴建过医院，周济过贫民，可是不久即以“妄赈饥民”的罪名遭上方罢斥了，前面已然提过。苏东坡的欠薪发下与否，已不能稽考。
他现年六十岁，这是按西方计算。到底以后他还流放在外多久，颇难预卜，生还内地之望，甚为渺茫。两个儿子一直陪伴到广州。苏造在河边向他告别，苏过则将家室留在惠州，陪伴他同到海南。为了到达任所，苏东坡必须湖西江而上，船行数百里到梧州（在现代的广西），然后南转，从雷州半岛渡海。他一到雷州，听说他弟弟子由在往雷州半岛贬谪之处，刚刚经过此地。据揣测说，苏氏兄弟被贬谪到这个地方，是因为他俩的名字与地名相似（子瞻到儋州，子由到雷州），章惇觉得颇有趣味。子由也带了妻子、第三个儿子，和三儿媳妇，他们几年前一直和他在高安住过的。
苏东坡到了梧州附近的藤州，与弟弟子由相遇，而今境况凄凉。当地是个穷县分，兄弟二人到一个小馆子去吃午饭。子由吃惯了讲究的饭食，对那粗糙麦面饼实在难以入口。苏东坡把自己的饼几口吃光，笑着向弟弟说：“这种美味，你还要细嚼慢咽吗？”他们站起身来走出小铺子去，带着家人慢慢向前走，尽可能慢走，因为他知道一到雷州，就要立刻渡海了。
雷州太守一向仰慕苏氏兄弟。他予二人盛大欢迎接待，送酒食，结果第二年因此遭受弹劾，调离任所。子由在雷州的住处，后来改为一座庙，是他兄弟二人
