只是他尚且疑惑郭解如何与卫青结交，他百般询问之下，卫青又是忠厚之人，渐渐吐露了胡扁鹊的事。
汉武帝吃惊之下，才知道自己忌惮的心头大患郭解毕竟不足为患，身边更有一个连卫青、郭解这样桀骜不驯，才气超群的英雄豪杰都一起以师尊之礼尊奉的胡扁鹊，他惊怕恼怒，正想疾言厉色的拿问，胡扁鹊却已经不知所踪。
胡扁鹊留下一封书简放在他的寝宫书案之上：
汝百家罢黜，遗祸华夏，残恶不止，必有生报。
余乃医者，曾生活汝之命，如与汝有约在先，不能轻取尔命，如欲取彼头颅，轻易之事也！
独不忍见汝死而丧天下乱，更不忍汝死匈奴入侵，故不诛尔头颅，暂居项上，唯其敛之！
若逼迫益甚，复更残暴百姓，吾当提剑，取尔头颅，汝之百万军甲，吾视如无物也！
孝武皇帝读罢大惊失色，虽然文辞鄙俗，可是那意思却显明非常，也咄咄逼人，吓得数日不饮不食，百般思量自己的所作所为，真是后怕惊心，后来还是卫青解劝，才渐渐平复。
他也是英雄豪迈之人，知道这等武林前辈高人，言出必践。
既然他没有将自己诛杀，自然不会轻易回还。
所以他派手下鹰犬暗自寻访胡扁鹊下落，以汉武帝当时权倾天下来说，若是想要知道胡扁鹊的去处，自然没什么难的，当他知道此人躲在九嶷山中隐居时候，算是长出一口气，也不敢过于威逼，只能以诛杀郭解的三族出气。
不过此事在他心中的印记却无法抹除，这也是他晚年回想此事时候最为心有余悸的事。
他唯恐胡扁鹊或者他的后人来刺杀他，所以自下罪己诏，做出个样子给胡扁鹊看，至于下钊时候的意思真假，也便无人能知道他的心意。
不过以帝王至尊，能罪责在自己，也算是千古少有，后世多有不如其为人者，远过矣！
胡扁鹊之所以留下书简，一是气愤，也是吓唬他的意思，人之一身，无论多么强大，无论多么的憎恨仇视，无论多么的卓绝坚毅，无论如何武功高强，也必然有软弱之处，更何况以一人之身，对富有四海的天子君王呢？世上又有多少人专门与帝王为敌呢？
他自己在虞初村中，托庇此地，算是做了山中隐士。
只是心有不平之气，想起死去的郭解，每日终究是郁愤难平，更不忍自己的武学医道有失，所以将其传授给虞初村中人。
自此以后，虞初文明人人学得