参加瓦岗军后，他立即向翟让提出建议，应该谋求向外发展，与东郡相邻的荥阳郡和梁郡是水路交通要道，比较适合——《新唐书》“公乡壤不宜自剽残，宋、郑商旅之会，御河在中，舟舰相属，往邀取之，可以自资。”翟让采纳了他的意见，移师荥阳郡和梁郡，抢掠过往公私船舶，于是军威大振，瓦岗军在短时间里发展到上万人。
不久，李密亡命雍丘，李密建议翟让进攻荥阳，于是开始了瓦岗军从盗匪向割据势力的战略转变。十一月，翟让、李密、徐世绩、王伯当各部在荥阳大海寺以伏兵击杀隋朝著名勇将张须陀。十三年二月，隋越王侗遣将刘长恭、房崱来讨伐，绩跟随李密大破之，天下震动。于是绩与浚仪王伯当一起说服翟让，推举李密为主。李密自称魏公，以绩为右武候大将军、东海郡公。四月，绩与密分析道：“天下之乱本于饥，今若取黎阳粟以募兵，大事济矣。”于是李密以麾下兵五千付于绩，与郝孝德一起袭取了黎阳。在二月攻克兴洛仓后再次开仓赈食，
九月，密、让合力打败来犯的王世充。在一次庆功宴上，李密杀害翟让，世绩也在这次袭杀中受了重伤。无奈下他也就完全成为了李密手下大将。
大业十四年（唐武德元年）三月，宇文化及在江都发动兵变，杀死隋炀帝杨广，拥兵十余万北上。六月，宇文军至黎阳，黎阳仓在河北汲郡黎阳县，而黎阳仓的守将正是徐世绩。绩迅速放弃黎阳县城，全军死守黎阳仓城，同时向李密求援。李密亲率数万精锐来援。二李成犄角之势，
李世勣传！(2/29)