曾国荃在弹劾官文之后，日子过得很不舒心。前向与捻军打仗，新湘军败得溃不成军。官场对劾官一案一片嘲讽，都说他心胸狭窄，居功自傲，朝廷也觉得他做得过分了。曾国荃处在内外夹攻之中，遂借口伤疾复发，辞官回里了。回到荷叶塘之后，他用从安庆、江宁掠来的金银广置庄田，大兴土木，大夫第建筑得庞大复杂，耗去近十万银子，令湘乡士绅闻之咋舌。平素家居挥金如土，一切都讲究豪华、气派。他嫌湖南的信笺不好，派人带八百两银子进京，将琉璃厂的名贵信笺一扫而空，惊得那些老板们瞠目结舌。他自己也觉得有点太鹤立鸡群了，怕招致兄弟侄儿们的怨恨，于是瞒着大哥，在离黄金堂五里外的地方建起一群楼房，取名富厚堂，作为送给大哥的礼品。又建一座房子，取名有恒堂，送给国葆的嗣子。又将黄金堂予以改建，更名万年堂，安置国潢一家子。国华的妻妾住白玉堂，不想再动，于是他又送二万银子给纪寿。这样，兄弟侄儿们同声赞扬九爷的手足情深。但方圆数十里的百姓则怨声四起。因为曾府兴建如此多的高楼大厦，需要大量的合抱老树，而这些老树大都长在坟山上，主人家都不愿砍伐。曾国荃把四乡头面人物请来，要他们帮忙。
这些人谁不想讨好？便硬逼着老百姓砍掉从祖父辈、曾祖父辈传下来的坟山大树孝敬曾府。百姓们敢怒不敢言，私下里无不恨得要命，都巴望新建的楼房遭雷打火烧。这尚在其次，最使曾国荃头痛的是两件事。
一是原吉字营阵亡将领们的子弟，三天两日来找他诉苦。
他们也有自己的苦恼。抚恤银有限，一两年就用光了。眼看着别人风风光光地回到家里，带来的财宝用船装，用车载，自家的亲人赔上一条命不算，一点分外财也没得到，他们何能不气恼，不眼红！这是一层，还有一层。死去将领们原来的部下有混得不好的，也常常跑上门来大哭大闹，说是先前欠了他的饷未发，都私吞运回家，逼着要其子弟补欠饷。这些子弟们又烦恼又气愤，无处发泄，便都找上原吉字营的统帅。
有些妇道人家还因此想起死去的丈夫、儿子，能在大夫第披头散发地哭上几天几夜不罢休，弄得曾国荃一家不得安宁。有些实在不能对付的旧亲旧谊，还只得拿出几十百把两银子来，才能勉强打发走。
第二件头痛的事，是原吉字营官勇在湖南，在湘乡境内的惹是生非，其中尤以哥老会闹得最凶。哥老会的成员大半部分是那些在前线掠财不多的下级军官和勇丁。仗打久了，农民的勤劳
