彭玉麟回渣江后，国秀的病短期内有所好转，但不久又加重了。他百般温存，延请名医，不惜重金购买名贵药材，却始终不能治愈。国秀终于跟小姑一样，年纪轻轻地便抛开玉麟，一个人先走了，不同的是，她给玉麟留下了一个儿子。彭玉麟叹息自己的命苦，对世事看得更淡了。他将国秀安葬在小姑墓旁，每隔三四天便去看望她们一次。他要履行当年离家前夕对小姑亡灵所说的话，在大功告成之后，不恋富贵，重过旧日的清贫生活。于是在斗笠岭下筑一个茅棚，取名退省庵。他住在退省庵里读书课子画梅花，天天依伴着小姑和国秀的怨魂。彭玉麟奏请皇上开缺，让他在籍养疴。皇上不允，改授他漕运总督，他坚辞不受。皇上只得作罢，依旧将兵部侍郎职还给他，温旨慰勉安心养病，再膺重任。如果不是曾国藩一连两封情致深厚的信打动了他的怀旧之心，如果不是信中一再说有关于水师的重大事情相商，彭玉麟就将带着儿子永钊，再也不离开小姑和国秀的坟墓，再也不离开渣江了。
他要在退省庵里退世反省，打发余生。
曾国藩见彭玉麟心情忧郁，暂且不跟他谈长江水师的事。
每天公余，则邀他品茗下棋，并从江宁城名门望族中借来不少前代丹青名手的真迹，与他共同欣赏，借以为他排忧解愁。
正好这时戴熙致仕回原籍钱塘，路过江宁，曾国藩盛情款留。
戴熙以翰林三值南书房，官至兵部侍郎，以长于绘事闻名京师。那年就是他为孙鼎臣画了一幅《苍筤谷图》，后来引得曾国藩和左宗棠都爱不释手，各人都题了一篇七言古风于其上，成了文坛一段佳话。戴熙久慕彭玉麟大名，且又同为兵部堂官，同为画坛高手，二人一见如故。谈诗文，谈绘画，谈兵事，谈得甚为投机。临别时，戴熙送给彭玉麟一幅《钱塘潮涌图》，彭玉麟回赠一幅《南岳迎客松》。彭玉麟与戴熙相见恨晚，自觉长期拘守渣江，也未免过于孤陋，遂与戴熙约：十年后在杭州西子湖畔也筑一个退省庵，一年以一半时间住渣江退省庵，陪小姑、国秀之坟，以一半时间住杭州退省庵，与戴熙等两浙名士品画说诗。
彭玉麟心情开朗了，曾国藩欢喜无尽，便将长江水师走私食盐以及杨岳斌临去陕甘前夕说的那番话告诉了彭玉麟。
彭玉麟嫉恶如仇，听说水师走私，极为愤慨，非要一一查明严办不可。对杨岳斌的一席话，自然心有灵犀一点通。他对朝廷和官场的看法，比杨岳斌更深一层，对曾国藩和自己的处境也洞若观火。他是属于那种大智
