对于韦太后其人，徐国公当然知之不深，只不过有回因为德宗与韦氏发生争执，心怀郁烦，诏徐国公相见时便抱怨出来，徐国公这才得知德宗竟然让后宫嫔妃批阅奏章，忍不住劝谏了两句，这也造成了韦海池第一回“失宠”，哪里知道德宗被徐国公这么一提点，居然再立崔氏女为后，小崔后不久生下贺烨，导致崔牧父子野心勃勃，一门心思欲将贺烨推上储位，德宗那时已显病弱之势，崔牧父子的企图，无非是当德宗驾崩新君年幼，他们成为托孤重臣从此权倾朝野。
徐国公虽为宗长，奈何不能压制崔牧野心，为了保全家族，也是为了忠于皇室，故提醒德宗帝，子弱母强必然导致外戚权重，为国之隐患不能不防，徐国公的想法简直与裴相不谋而合，有这两人劝谏，德宗终于打消了立贺烨为储的想法。
徐国公却没有想到相比小崔后，韦氏竟然更加猖狂，更加没有预料当年那个温文仁孝的皇长子贺衍竟然懦弱至此，德宗崩时，贺衍已经及冠成年，又有裴相等贤臣辅佐，结果还是被韦氏操控，污忠良为逆谋，将军国大权拱手交让。
事实上当裴郑遇害，谢、韦等人一跃而居相位，徐国公已然想到大明宫里是谁在发号施令，奈何一切恶果已经造成，除了继续韬光养晦，徐国公也是无可奈何。
为了保全崔氏一族不步裴郑后尘，徐国公甚至于闭门拒客，坚决不与朝臣官员接触，即便是姻亲，这些年来也不过是保持礼尚往来而已。
可是他想起德宗帝当年信任恩典，心中也实感悔愧煎熬，不过他从未想过恶名远扬的晋王竟然是心怀抱负忍辱偷生，甚至贺衍崩前早有示意，欲立晋王为储！
虽然他早就知道江迂是小崔后苦心保留的最后一枚棋子，甚至于当初倘若没有他在后提供资助，江迂之弟也不可能隐姓埋名成为一地富商陈宣炽，然而他做这些并不是为了相助贺烨夺权，仅仅不过为了保住贺烨性命而已。
德宗驾崩，小崔后立即“悲痛服毒”，徐国公当然明白中有缘故，贺烨也许危在旦夕，那时韦海池并未夺得大势，尚没本事监视外臣，徐国公便私下见了裴相，得知德宗临终前曾经嘱咐太子保全晋王，新君仁孝，将晋王起居饮食之事全权交托裴后照管，又有江迂这么一个内应，徐国公这才放心。
当年小崔后为了让江迂成功赢得韦氏信任，有意“害杀”江迂家人，实际上是交待崔牧父子暗中将其家人转移，安置别处，徐国公虽然不赞成崔牧涉入储位之争，可也没有死板到完全不管小崔后母子安危的地步，于是