子遍布附近的几座镇子，谢慈来到谢家后，谢老爷很快就安排了几位先生过来教他读书识字，他不指望谢慈考状元，但是该读的书一本都不能少，要算的账不能出一点错。
谢慈在风月场里学会的那些可以让他在管事的手下混得如鱼得水，可以讨好那些让人心生畏惧的大能，却没办法让这位谢老爷满意，他脑子不笨，只是不爱读书，总想要偷懒耍滑，加上从前在管事的手下学了很多不好的习惯，没有办法立刻改过来。谢老爷是真心要在百年之后把谢家的产业都交到谢慈的手上，所以对谢慈的要求格外严格。他会嫌他行为举止不够正派，嫌他不够学习刻苦，渐渐的也收起了谢慈初来谢家时那副和蔼慈善的笑脸，换了一副更外的严苛的面孔，甚至为谢慈请出谢家的家法。
这段时间谢慈没少吃苦头，罚跪、抄书、打手板，轮番着来，他只有装出自己的腿伤加重才能减轻一点惩罚，谢老爷也怕他腿伤会加重，找了好几个大夫在府中为他煎药，喝的谢慈感觉自己喘气都有一股药味。
谢夫人与其他三位小夫人心疼他，只是她们也不敢违逆谢老爷，只能在私下里给他送药膏和吃食，结果没过几日就被谢老爷瞧见了，不仅把谢慈罚得更重，三位小夫人也被连累。
谢老爷坐在红木镶玉的太师椅上，对谢慈叹道：“这都是为了你好，你看看你站没站相坐没坐相的，像什么样子？出门是要惹得人家笑话的！”
谢慈把头埋下，心想笑话就笑话呗，又不会跳起来打他，然这话只能在心里想想，可不能在谢老爷面前说出来，不然免不得又是一顿家法。
谢老爷看出谢慈又在走神儿，他怒拍桌子，震得房梁上的灰尘都簌簌掉下，落进谢慈的眼睛里，他不敢用手揉，只能努力地睁大眼睛，从一片模糊的光影中，看着谢老爷像是一只愤怒的棕熊，在那里咆哮道：“你现在是我们谢家的公子，出门代表的是我们谢家的颜面，你得强硬起来！庄重起来！你这软绵绵的怎么行！”
谢老爷是真将谢慈当成自己的孩子，只不过他不打不成才的想法可能真的不太适合谢慈。而在无意间得知谢慈从前被人当做娈童来调教后，谢老爷有些埋怨李青衡怎么不把这些跟他说清楚，同时也决定要好好去一去谢慈身上的风尘气。
谢慈又被罚去祠堂跪着了，谢夫人给他送去保暖的衣物，回来见谢老爷眉头紧缩坐在窗边，犹豫一番，还是开口劝说道：“这孩子也实在是可怜，您别逼得太紧了，我看他脑袋挺聪明的，慢慢改总能改过来的。”
谢老爷愤怒
