天子恢复对长安控制的第二日，所有的龙武军全部调到城外以北的禁苑整编。负责各门防务以及巡查治安的，除了神武军以外，还有观军容处置使鱼朝恩重新招募而来的羽林卫。
原羽林卫在李泌围攻兴庆宫时已经全军覆没，死的死，伤的伤，投降的投降，被俘的被俘。由鱼朝恩新组建的羽林卫已经与之没有半分关系。其中军卒多数由十六卫各军中征募而来，旅率队官等低级将校则从神策军中抽调，而重要的高级将校全部一反常态，均任命的阉人宦官。
不过，毕竟要建成一支军队不是一朝一夕能成的。所以，羽林卫的规模也不是很大，在人数上与神武军旗鼓相当。
这支新羽林卫渐次开进长安以后，主要负责清理兴庆宫，以及兴庆宫周边的一些坊市街道。其中，永嘉坊和胜业坊首当其冲。
高仙芝的宅子就永嘉坊内，按理说这等权贵高官才能居住的坊内，是绝不能容平头百姓随意出入的，但从这一日开始却一反常态。不断有身份未名之人冲进坊来，高呼着勿放纵了可耻叛逆，高仙芝。
甚至连高府的家奴出门置办物什，都被这些“义愤填膺”的百姓捉住狠狠痛殴了一顿。
最初之时，永嘉坊内居住的其他高官还亲自人到安国寺寻杨国忠来主持公道，驱赶乱民，恢复治安。但杨国忠却只说，民意不可违，若非做过亏心之事，岂会怕有鬼上门？
吃了软钉子的这位高官灰头土脸的回到家中，立刻宣布关门闭户，不许一人出去，也不许一人进来。通过杨国忠的态度，他已经意识到，这些闹哄哄的乱民，与安国寺中主持政务的杨相公关系匪浅。
高仙芝在兴庆宫一战中身受重创，自然也不可能亲自出来料理外面闹事的乱民。而他的两个儿子都是自幼习文，于兵事一窍不通，只能干瞪眼睛没有一点办法。
激烈的冲突在当天午时突然爆发了。高氏的家仆可并非是普通的奴仆，都是高仙芝收留的伤残边军，这些人虽然手脚或多或少都有残疾，但都是从尸山血海里杀出来的勇士，岂能忍下这口窝囊气？
当这些乱民再度殴打出门采买的家仆时，怒气终于爆发了，这些在兴庆宫之战中幸存下来的“老军”挥舞着木棍铁锹一窝蜂的冲了出去，顷刻间就将这群围聚在永嘉坊内的乱民打了个措手不及，然后又一鼓作气将其统统赶出了永嘉坊。
但是，“乱民”毕竟人多，在“援兵”赶来之后，破坏了永嘉坊的坊门，再次冲进永嘉坊，高氏的“老军”家仆便再也顶不住了。