的富贵显赫，关于姚氏一门穷奢极侈的生活，被夸大十倍渲染，勋国公府一时成为千夫所指众矢之的，但不甘寂寞的姚氏子弟，仍然日日出没于酒肆青楼，当闻物议，屡生争执，甚至针对质疑，吼出“非我姚家父子，燕赵岂复？营州岂复？潘逆岂平？”之语，这不仅坐实横行霸道的指控，而且还授人话柄——
燕赵得复、营州得复、潘逆受诛，这明明是当今圣上以及燕国公部军士的功劳，与姚家何干？姚家竟敢贪天之功居为己有，如此寡廉鲜耻、卑鄙龌龊简直闻所未闻。
终于有御史言官具奏弹劾，列举姚潜多项疏错，主张朝廷重惩，以平臣民怨愤。
谢饶平早闻碎语，知道太后与姚潜间的风流韵事，虽说深恨姚潜贪婪无耻，然做为太后的死忠，他当然也明白在此艰难时刻不能自相残杀的道理，与韦元平力保姚潜，认为御史乃空口无凭，姚潜并没有行为违律之恶，不应受惩，然而这时的政事堂，已经不再受谢、韦二人主导掌控，有更多人主张惩处姚潜，以正朝纲，几番争论不决，理当上呈天听，报天子决断。
贺烨质问谢、韦二相：“尔等认为，我大周律条，唯仗势欺民、贪赃枉法才该惩治？姚氏子弟，仗着出身公府，屡屡寻衅滋事殴斗伤人便不算触律？姚潜非但不加责管，甚至聚众闹事，私闯他人宅邸，当众辱斥京兆尹，这又岂只教子不严之过？甘州之役，姚潜身为主将，战败失守，导致国都危难半壁江山几乎沦丧于敌，论罪该当处死！然太后已然赦免其罪，朕亦只是夺其兵权责其思过而已，难道还不算宽容大度？”
又重重一击御案：“然则，姚潜非但不曾悔过，竟仍穷奢极侈、横行霸道，触犯众怒为世所不容，谢相、韦相却仍为这么个忘恩负义肆行暴虐之徒开脱辩护？朕问你们，姚潜到底有多少功劳，多大才干，这么一个无才无德百无是处之人，有何资格再为人臣，居高职，享厚禄？”
谢饶平、韦元平哑口无语，姚潜理所当然便被免官罢职，只是他到底还有勋国公的爵位，依大周律，未行十恶之罪，不得夺除。
然而不居官职者，依照新法皆为纳税之户，姚潜一旦被罢职，官府自然便要依律察核其田宅资产，录定征收税赋，这对于失去亲谊供奉以及皇家恩赏，原本便觉日子过得捉襟见肘的姚潜而言，更如雪上加霜，他哪里甘心被定为上上等，“凭白无故”又再损失一大笔财帛？
而且从贺烨显然的针对态度，姚潜心知肚明，皇帝无论如何也不会容他继续荣华富贵，损夺家财只是开端，到头来一定