李世民请求进军入关，攻取永丰仓来赈济穷困，收服群盗来谋取大兴城，李渊认为很好。李世民以前军渡过黄河，先平定渭北，三辅的官员、百姓以及豪杰绅士到军门请求献身报效者每天用上千人来计算，扶老携幼，布满在大旗之下。李世民收留英豪以作为备用的官员，远近听说此事的人，都来献身投效。

军队在泾阳驻扎，精锐之兵九万，击破胡贼刘鹞子，兼并了他的部队，留下殷开山、刘弘基屯扎在大兴城。李世民率军亲自奔赴司竹，贼酋李仲文、何潘仁、向善志等人都率兵来会合，屯兵在阿城，获得兵士十三万。大兴城父老拿牛、酒到军门的很多，李世民慰劳他们而后送走他们，什么也不接受，军令严明整肃，秋毫无犯。不久，李世民与大军平定大兴城，李渊辅佐国政，任命李世民为唐国内史，改封为秦国公，食邑万户。恰值薛举精兵十万前来逼近渭水之滨，李世民亲自率军攻打，大破其部众，斩杀一万多人，攻占敌军土地一直到陇坻。

李世民再次被任命为右元帅，统兵十万攻取东都洛阳，未能成功而返回，等到将要回军时，李世民对左右的人道：“敌人见我回军，必定会跟踪追击。”于是，设下三次埋伏以等待追兵。不久，隋将段达率领一万多人从后追到，过三王陵时，李世民发动伏兵攻击，段达大败。于是在宜阳、新安设置熊、谷二州，派人留守而回，随后，李世民被迁徙改封为赵国公。

隋恭帝杨侑禅位于李渊，李渊改国号为唐，建元武德，封李世民为尚书令、右武候大将军，进封秦王，加授雍州牧。薛举入侵泾州，李世民率众军加以讨伐，不胜而回。薛举死，其子薛仁杲继立，李世民又被任命为元帅讨伐薛仁杲，两军在折墌城相持不下，双方挖深沟筑起高高营垒相持六十多天。薛军十多万，军队的气势强盛，多次前来挑战，李世民按兵不动以挫败他的锐势。薛军粮食已完，薛军将领牟君才、梁胡郎前来投降。李世民对诸将军道：“敌军锐气丧失衰退了，我军当攻取他们。”

于是，派将军庞玉先在浅水原南扎阵以引诱敌人，敌将宗罗睺集中军队前来抗击，庞玉军几乎失败。不久李世民亲统大军出其不意覆盖了浅水原北，宗罗睺远远望见，再次回军抗拒。李世民率领精锐骑兵数十人攻入敌阵，他与军队里外配合一齐奋力攻击，宗罗睺全军溃败，李世民斩贼首级数千个，掉入山涧山谷而死者不可胜计。李世民率领随从二十多个骑兵追赶逃跑敌军，笔直奔赴折墌城而追逐敌军。薛仁杲十分恐惧，环城守卫。将晚，李世民大军陆续到来，四面合围。早晨，薛仁杲请降，李世民俘虏他的精兵一万余人，男女五万口。

不久，诸将祝贺，有人趁机问道：“刚开始大王野战攻破敌人，但敌人还保有坚固城池，而大王没有攻战之器具，用轻骑兵转战追逐，不等待步兵，直接迫于敌人城下，我们都怀疑你不能取胜，然而竟然攻下了城池，这是什么缘故？”李世民道：“这是用权宜之计逼迫他，使他们的计谋没有机会发出，因为这个原因战胜。宗罗睺依靠往年取胜，加之长期养足了锐气，见我军不出，心中对我轻视。现在敌军见我出战，十分高兴，全部军队前来作战，虽然我已击破他，但擒捉杀掉的还少。假若不急速追逐，敌军回军投入折墌城，仁杲收拢安抚，那就不可能战胜了。再说敌军兵众都是陇西人，战败逃散，来不及回顾，败逃到陇外，则折墌城自然空虚，我军随后压上，敌人因恐惧而投降。这些可谓是已定的计划，诸君难道全部不见吗？”诸将道：“这不是普通人所能赶得上的。”

此战，缴获精锐骑兵很多，李世民仍令薛仁杲兄弟及敌帅宗罗睺、翟长孙等率领。李世民与他们游乐骑射，没有什么距离隔阂。投降的敌将感恩并慑于李世民的威势，都愿意以死报效。当时李密刚刚归附，李渊命令李密骑驿马到豳州迎接李世民