到了恒温陨落，谢氏崛起，被桓温掌控的旧北府军已在他第三次北伐中被打得支离破碎，难以独立成军，与此同时，前秦苻坚声势日隆，逐渐对东晋形成泰山压顶之势，谢安掌权后，建立一支zheng fu可以直接掌控的军队以对抗前秦大军迫在眉睫，否则衣冠南渡的汉人zheng fu难逃亡国灭种的命运。这种情况下，借鉴郗鉴当年的经验，重新整编招募以北方流民为主体的军队无疑是最省钱省力的举措，于是，新北府军应运而生。谢玄到任后，借鉴郗鉴当年组建北府军的经验，大规模招募北方逃亡来的流民，彭城人刘牢之、东海人何谦、琅邪人诸葛侃、乐安人高衡、东平人刘轨、西河人田洛及晋陵人孙无终等后来名重一时的猛将，都在这时应募入伍。谢玄以刘牢之为参军，命他率领精锐部队为前锋，与南侵的前秦军队接战。刘牢之等人率领的部队作战勇猛，与前秦作战胜多败少，号称“北府兵”，这也是北府兵这个专门称号首次出现。
区别于旧北府军的是，新北府军不再受控于门阀贵族，而是由中央zheng fu直接掌控的军队，这也使得它在重建之初就得到政策的大力支持，在衣甲军器上都强于旧北府军。同时配备了精兵猛将，着名的将领刘牢之，何谦、诸葛侃、高衡、刘轨、孙无终等后来名重一时的猛将皆在北府军中效力。有了精兵、猛将，北府军战力得到进一步提升，从南方军阀部队中的佼佼者跃升为可以与北方军队一较高下的力量。
世人所知北府军，大多是来自对于淝水之战的
甘宁士元立赌约，李嵩出马追文聘(5/8)