赵构辞别宋徽宗以后，便独自一人前往冷宫。虽然赵构能够理解父皇将母亲送入冷宫是为了保护她，后宫嫔妃你争我夺，他又“犯事”在前。即使宋徽宗不处置她，也会被其他人阴谋陷害，那时想救都没有办法，只能先一步行动，让她留在后宫，给所有人一种错觉，她已经是不受皇上宠爱的嫔妃，自然无人加害于她。
赵构迈着沉重而稳健的步伐，步履维艰，想起自己的母亲为了自己才落得如此地步，心中不免有些自责。从大局上考虑，赵构所做一切不仅没错，反而有功之人；以人情来说，赵构愧对自己的母亲，累及她受苦。
穿过长长的甬道，走过长廊，又过了数座廊亭，抬起头，四下无人，一片静悄悄。前方都是封闭严实的大门，赵构缓缓的上前，看着门檐上厚厚的灰尘，也不知多久无人前来，推开门，四散开来的灰尘，让他不由得皱起眉头。
推门而入，映入眼帘的是一位穿着素服，长长的头发披在肩上，看不清容貌，却见她盘膝而坐，右手不断的转着念珠，口念佛号。赵构还未走进，便听到熟悉不能再熟悉的声音：“皇上，您还是回去吧！妾身只想好好的在此礼佛，构儿未归，妾身终生留在此地，落得清净，您就不必再劝！”
听着母亲的声音，赵构鼻子一酸，双眼通红，泪水悄悄的划过脸颊，又听见韦氏语气平淡道：“皇上，您的良苦用心，妾身皆能理解，只是构儿一日未归，要是与皇上出了此门，必是烦忧，不如留在此，为皇上、构儿祈福，希望构儿能平安归来，皇上您每次前来，妾身都知道您心事重重，后宫不能参政，妾身也不知如何是好，唯有替您祈福，护佑皇上！”
直到此时，赵构才明白自己临行前，赵佶对他说的话。看此情况，宋徽宗数次前来想要让韦氏回宫，离开冷宫，可韦氏倔强不屈，愣是不遵从旨意，哪怕赵佶是皇上，也无可奈何。毕竟，韦氏被打入冷宫，是他亲自下旨。并且，韦氏不知赵构是生是死，直到赵佶对他说，终有一日赵构会回来，她才稍稍安心，心里还是有点担心。
毕竟，赵构离开时只有三岁，皇子与常人不一样，由宫中侍卫、婢女、乳娘照顾，不需要操心，时刻能看得见，问题是赵构是韦氏自己照顾，又是她亲自喂养母乳，就连赵佶都觉得不可思议。
由于韦氏出身卑微，后得到赵佶宠幸，在她身上还是有一种传统女子的思想，坚决不让乳母喂养。因此，韦氏对赵构的感情，超过自身的地位。对于嫔妃的称谓，她从来不在乎，在乎的只有赵佶、赵构两人的身体，