平南伯年轻时也是出了名不学无术的纨绔子弟，说起学问，他不见得比儿子强多少。听了儿子的话，他想想儿子回答不上来的那些问题，似乎确实挺难的，便勉强接受了儿子是不走运，又或是有人故意刁难的说法。
他暗暗生着闷气，心想得弄清楚到底是谁在故意给他添堵，便对曹文衡说：“行了。你谢表弟得了皇帝金口玉言，你若是当众给他难看，只会让自己更丢脸。在这个当口，你给我老实些。先回府去吧，有话回去再说。”
曹文衡不甘心地看一眼谢显之离开的背影：“可是……谢显之这就跟人走了呀！皇上许他回家去，我今儿不揍他，以后还有机会么？”
平南伯远远看见谢显之跟在焦闻英身后离开，面色阴沉地道：“怕什么？今日教训不得他，你还怕日后也没机会么？他身上流着我们曹家的血，跟曹家根本撕撸不开，想要与我们断得一干二净？那是白日做梦！”
承恩侯带着儿子施施然地走了过来，闻言轻笑道：“三弟哪儿来这么大的火气？自己的儿子无能，也别记恨别人家的孩子太优秀呀。显之虽然是我们曹家的外甥，但毕竟是姓谢的。你都扣下谢家的财产不放了，差不多就收手吧，还要硬扣着人家的儿子做什么？莫非是打算拿显之做人质，逼着谢璞继续献银子么？我知道你一向做事都不太讲究，可吃相这么难看，影响了曹家声名，就不好了。回头皇后娘娘怪罪下来，我也不好替你说情。”
平南伯阴沉着脸，却没法向承恩侯直言，自己其实只是想把谢璞除掉，然后利用外甥控制整个谢家。但如今叶宛琴完全断了消息，谢璞成了燕王手下的官，谢显之也得了皇帝许可，马上就回谢家去了，情势大变，他原本的计划统统都要作废。
他只能忍气对承恩侯说：“大哥误会了，其实是母亲和妹妹舍不得孩子，并不是我扣着人不放。今日显之一声招呼不打就走了，我还不知回府后，如何跟母亲与妹妹交代呢。”
承恩侯嗤笑：“皇上都下旨了，还有什么不好交代的？可别告诉我，你打算公然违旨，一定要留下显之不可。我劝你别犯蠢，今非昔比，谢璞如今是燕王殿下的人，他已经退了一步，没问你要回谢家家财了，你还不知收敛，非要步步紧逼，一旦惹恼了燕王殿下，一状告到宫里来，就连皇后娘娘，都没脸替你说话。可别忘了，你那妹子当年做过什么，才害得皇后娘娘在燕王面前丢尽了脸面！”
平南伯又一次被噎住了，只能眼睁睁看着承恩侯父子趾高气昂地离开。