潘孝严被免官了，流放沙门岛。
原本宋徽宗赵佶是要杀一儆百的，但是各大将门哪里敢让皇帝开这样的头，纷纷上前劝说，理由是今天是个大喜的日子，仙尊圣母对这门婚事十分满意，我地球祖星宋国也算是和仙尊结成了亲家，实在是不易见血。。。
宋徽宗赵佶也觉得各大家主说得很有道理，那么就改为流放沙门岛吧。
早在北宋建立之初，配隶之人是流放到西北边境的，从偏远和环境恶劣来说，这里确实是首选。不过，等犯人到了那里后不久，情况就变了。他们大概想反正朝廷也不想让我们活了，干脆就投了党项吧。于是，这些重犯反而成了党项人的兵员，反过来侵扰边境。宋太宗一看这样不行，不能做这种养肥敌人的事了，决定将重犯配隶海岛。
沙门岛不太大，距离登州有六十里，距离对面契丹控制的辽东半岛就更远了，孤悬海外，周围也有军队驻扎，只要控制住船只，根本没人能够逃脱。这种独特的地理条件使得这里逐渐成为配隶重犯的首选。
北宋在岛上设沙门岛砦（通寨），砦主为最高行政长官。沙门岛隔绝外界的环境下，人员却严重超额，生存空间狭小，岛上的人缺衣少食，生活非常艰难。
宋仁宗时，京东转运使王举元提出：发配沙门岛的人，如果按每年配到三百人算，十年就有三千人，去除死亡的，应该还有两千人，可是如今衣食只够一百八十人的。
北宋的几代皇帝虽然也开恩改善岛上口粮，但是到了宋神宗熙宁年间，仍然是“沙门岛囚众，官给粮者才三百人”。在这种情况下，岛上饿死人是十分常见的了。
砦主的权力极大，掌握着岛上罪人的生杀大权，经常因私、因财滥杀罪人。宋真宗的时候就曾经下诏：“沙门砦押不得滥杀罪人......违者具事以闻，重寘其罪。”然而实际上沙门砦主还是偷偷杀人，毕竟在这个相对封闭的环境，他们才是土皇帝。
这里的砦主逢年过节就杀个人祭海。当岛上的囚犯严重超额时，从超额的人中随机选择一个扔到海里杀死是很正常的事。宋神宗熙宁年间，砦主李庆两年就杀了七百多人，这个数字让新来的登州知州马默都大吃一惊。
沙门岛条件如此恶劣，但是潘孝文根本就不担心潘孝严，沙门岛的砦主只要脑子不进水，就不敢怠慢了三弟潘孝严，况且和潘孝严一起发配的还有李大胆等人，有他们在，沙门岛上谁说了算还不一定呢。
潘孝文自己也被免官了，但是潘孝文反而心中大