接下来的两日，第四营并没有闲着，而是向城内发起了更为猛烈的进攻，四十门山地炮，向城内倾泻#了上千枚开花弹。
二十三日下午，在通牒时间生效的最后阶段，参将马鸣节打开了南门，榆林陷落。
城内大量文武官员被俘：右布政使都任，关南兵备佥事王家录、副将惠显，参将刘廷杰，游击傅德、潘国臣、李国奇、晏维新、陈二典、刘芳馨、文侯国，都司郭遇吉，中军杨正?、柳永年、马应举，旗鼓文经国，守备尤勉、惠渐、贺大雷、杨以伟，指挥李文?j、文灿、黄廷政，千户贺世魁、黄廷用，百户黄廷弼等。
参与守城的诸生陈义昌、沈浚、沈演、白拱极、白含章、张连元、连捷、李可柱、胡一奎、李阴祥等，也被天命军俘获。
李自成入城后，发现两个十分奇怪的现象：
其一是城内有大量已经致仕的文武官员，武将特别多：左都督尤世威，总兵王世钦、侯世禄、侯拱极、王学书，副将常怀、李登龙，定边副总兵张发，参将马鸣节，游击孙贵、尤养鲲，守备白慎衡、李宗叙，户部主事张云鹗，知州彭卿、柳芳等。
其二是官多兵少，除了临时招募的青壮，城内的守军不足千人，但城内的文官武将，却超过百人，官兵比列严重不协调。
李自成多方打听，估计是延绥军镇的百姓，民风一向彪悍，所以出现了大量的武将，既然如此，何不在当地招募一批士兵？
此时李信已经拿下了整个庆阳府，以右参议段复兴为庆阳知府，推官靳圣居为法院院长，安化知县袁继登庆阳府税务厅长，初步建立地方官府。
他将建立榆林府的事，完全交给牛金星和李琬，自己亲自去挑选士兵。
在募兵的过程中，李自成发现，榆林府实在是军镇，人口并不多，青壮倒是踊跃报名参军，但李自成只招募了一个团的士兵，以刘廷杰为团长，领游击将军衔，这个团的士兵，暂时不属于任何营，根据将来的情形再说。
此外，榆林毕竟靠近边墙，需要防范鄂尔多斯高原的游牧游牧骑兵，李自成又招募的一个团的边军，以侯拱极为团长，直属于榆林府。
牛金星与李琬做了大量的工作，才说服右布政使都任出任第一任榆林知府，关南兵备佥事王家录出任法院院长，诸生陈义昌为监察院长。
尤世威以前是左都督，在榆林府地位最高，参将马鸣节主动打开城门，接应天命军入城，是最大的功臣，两人分别担任榆林府总兵与副总兵，