李世民耐心听完了父亲的感言，拱手请求道：
“将士此刻斗志正旺，天快黑了，机不可失，请下令攻城！”李渊点点头，毅然命令道：“即刻攻城！”
由于没料到今天的战斗如此大获全胜，为攻城准备的云梯尚留在十里外的大营里。回去取也来不及了，李世民命令部队搭人梯而上。杀红了眼的将士们，恶劲憋得正足，争先恐后，飞速窜到城下，搭起人梯，赤臂而上。
守城的兵士见主将已死，主要兵力全部战死，在城外，义军英勇，势不可挡。于是兵无斗志，把手头的滚木擂石往城下一掀，而后一哄而散。义军遂以极少的伤亡，顺利攻占了霍邑。大破宋老生，攻克了霍邑城，兵进长安，首战告捷，李渊异常高兴，召开了隆重的庆功大会，对有功将士予以嘉奖。在拟定授勋的名单上，有人提出，按古来例法，地位低微的奴仆、部曲，虽然立了战功，但只能奖些金银，不应授以勋位。李世民对此陈规陋习，坚决表示反对，他说：
“义士应募，冒矢石，攻坚城，何分奴主。今论功行赏，岂可有等差！”
李渊认为李世民说得有理，下令道：
“山藏海纳，黥而为王。诸部曲及徒隶征战有功勋者，并从本色勋授，不得以贵贱论功。”
义军按功颁发赏赐，使得昨日的刑徒、仆隶，胸脯上也戴上了大红花，摇身一变，也成了有官阶的上等人。于是人人高兴、个个欢喜，手拿勋授，奔走相告。
对霍邑城的官民，李渊也不亏待，开仓放粮，赈济贫穷，安抚人心，把原属宋老生部的士兵，编入义军，不加怀疑。原官员有愿继续留任者，重新授官。
李渊这一折腾，新增品级官员五千多人，光五品以上就有上千人。有人上谏书，认为授官太滥，不利于义军的作战和发展。李渊却说：“天下之利，人不能独吞。将士皆归于我，我岂能不尊敬。隋政的败坏，亦与此有关。雁门解围之功，东都授救之勋。隋炀帝有难时，便许授人以大夫。祸去之后，则撇之脑后，惟加之以小尉。所以，士无斗志，将有叛心，板荡分崩，以致有今日之难。覆车的明鉴，不敢效仿。况且加官抚慰，正是鼓励将士效命于疆场。吾好生任赏，其优甚多，当以不日而定天下。”
李氏义军英勇善战，论功行赏，赈济贫穷，美名远播。流窜于三辅山中的大大小小的武装纷纷赶来投靠，多时一天数以千计。义军的队伍迅速壮大起来。
灭了宋老生，接下来就是屈突通。李渊父子安顿好霍邑，率兵向河东挺进。八月十二日，兵至鼓山。绛郡通守陈叔达领兵坚守。陈叔达字子聪，乃陈宣帝的第十六子，南陈时封为义阳王。此人颇有才学，即兴赋诗，援笔而就。历任侍中，丹阳尹，尚书等高官。入隋朝后，地位大跌，仅在偏僻的绛郡任个小小的通守。李渊以陈叔达非隋朝同类，且爱其才学，决定先礼后兵。李建成自认为读过多年书，腹有才学，口有辩才，自告奋勇，匹马到城下去说降陈叔达。
不料刚一开口，李建成就被陈叔达大骂一通，匹夫贼子的羞辱一番，又令军士放箭。李建成只好抱头窜回，气得咬牙，促劝父亲赶快攻城。
绛郡是个小城，城墙低矮，守卒弱少。攻其有何难哉。李渊旋即下令攻城。
令旗一挥，战鼓一擂，义军跟玩儿似的，飞步赶上城头，隋军一触即溃。李建成一马当先，冲到通守府，把在大堂下正襟危坐的陈叔达抓了起来，五花大绑，解到李渊军中大帐，请求下令立即将陈叔达斩首，以解先前诟骂之恨。面对死亡，陈叔达神色恬然，立而不跪。李建成刚想上去踹他两脚，让李世民止住了。李世民来到父亲身边，附耳说道：“叔达为官清明，为人正直又有才学。目下我军正是用人之际，请父帅以礼感化之。”
李渊点点头，喝退刀斧手，走过去，亲手为陈叔达解去绑绳，并命人看座，以礼相待。陈叔达本是义人，感李渊真诚，表示愿意归顺。李渊马上安排他和温大雅一块同掌军中机要。
安抚好绛郡，十五日，李渊兵至龙门，恰逢出使突厥的刘文静又从突厥带来五百突厥兵、两千匹战马。李渊见突厥兵少马多，心中窃喜，嘉褒刘文静说：
“我大军已至龙门，即将渡河，突厥来援，且兵少马多，卿之功也。”
刘文静拱手说：“全赖唐公威名远播，事情才如此顺利。”
李渊高兴地拍着刘文静的肩说：“走，叫上李建成、李世民。我们到黄河岸边观察地形去。”
黄河从丛山叠嶂中走来，在荒原上流去。她波涛滚滚、浩浩荡荡，一泻万里。龙门段上，嶙峋壁立，河水贯穿在两山之间，地势骤然下陷，庞大的河水从绝壁上摔下来，汹涌澎湃，狂涛乱卷，发出惊雷般沸腾的轰鸣。浑黄的河水闪着晶亮的泡沫，激射半空，形成茫茫银雾，笼罩在龙门上空。天近残秋，河水喷出的雾气，泠泠透人骨缝。李建成打了个寒噤，缩了缩脖子，说一声：“这里还怪冷哩！”
骑在马上的李渊望着奔腾咆哮、云雾迷茫的龙门，爽朗地笑了，他马鞭一指，问李建成和李世民：“你们俩谁知道鱼跃龙门的故事？”李建成抢着回答说：“这事我知道。每年开春，江河湖海中的黄鲤鱼，都逆流而上来到这里，来的再多，但一年之中，能跃登龙门者只有七十二条。登上龙门，即有云雨相随，天上神火自后烧其尾，乃化为蛟龙，从此一飞冲天。”
李渊含笑点了点头，他见李世民眼望滚滚河水沉默不语，问：“二郎在想什么？”
李世民从浮想联翩中醒过神来，他远望苍茫的关中大地，一字一顿地说：
“鱼跃龙门，雄踞关中，号令天下，我李氏就将成为代代相传、黄袍加身的真龙天子了！”
李渊哈哈大笑道：“吾有此佳儿，何愁天下不定也！”
回去后，李渊即召开军事会议，讨论强渡黄河的问题。汾阳人薛大鼎认为从龙门渡河最为合算。过河后，占领永济仓，传檄各处，关中可定。李渊认为他说的有道理，但也有人表示反对，原冯翊韩城尉，河东县户曹任gui拜见李渊说：
“我在冯翊为官多年，郡中豪杰多有结识，大将军给我一纸诏令，我就可以召他们归顺。义军若从梁山渡河，我必领人响应。大军兵指韩城，一直逼郃阳，冯翊太守萧造，乃一介文吏，必望风臣服。然后据永丰仓，虽未得长安，关中已定。”李渊见任知gui说得有道理，当即任命他为从二品银青光禄大夫，让他去冯翊、韩城一带去开展工作。
八月二十一日，李渊军至壶口，预备建立水师南渡黄河。百姓闻听义军征船，积极配合，几天之内，竟征得木船数百只。二十四日，关中最强的小股义军孙华，在李渊的感召下，率兵自郃阳前来归顺。李渊大为高兴，令李世民率轻骑前去迎接。孙华被李渊任命为左光禄大夫。武乡县公、领冯翊太守，其部下也依次授官，又各赏以金银。孙华感恩戴德，自告奋勇，率军先渡黄河。
此时，河南、山东一带发生水灾，饥民饿死者无数。瓦岗军主将徐世勣 率精兵五千人，东下攻占了黎阳仓，开仓赈济灾民，数十万饥民得救。瓦岗军趁机扩军，得强兵二十万。先后攻占了武安、永安、义阳、弋阳、齐郡等山东大部地区。山东形势的变化，切断了屈突通南下的路线，使河东隋军处于孤立无援的境地。李渊兵渡黄河时，屈突通未敢有所动作。在分析敌情会议上，李渊认为：屈突通精兵不少，相距五十里，而不敢前来与我军交战，足证明其畏惧怯阵。决定派左统军王长谐，率步兵六千，从梁山渡河，从韩城围攻屈突通。
李世民认为此举有些冒险，不同意孤军冒进。但李渊不听，李世民遂遣部下刘弘基，史大奈率骑兵同行，以防不测。王长谐率兵至韩城，驻扎在饮马泉。屈突通不甘坐以待毙，于是派虎牙郎将桑显和率精兵五千人，乘夜色偷袭王长谐军。义军丝毫没有准备，仓促应战，损失上千人，幸亏驻扎在左冀的刘弘基、史大奈的骑兵从背后向敌军发起猛攻，桑显和支持不住，自绝桥梁，退回城中坚守。
九月八日，冯翊太守萧造降，蒲津、中氵单二城皆降。李渊大军一时间扩充到近二十万人。将屈突通团团围困在河东。河东非比霍邑，城高壕深，且地势险要，凭河拦阻。李渊指挥将士攻了几次，都失败而归。李渊心中忧闷，又欲放弃河东，径直西取长安，但拿不定主意，于是召开将佐会议讨论对策。
裴寂胸中虽无多少谋略，但交好李渊，官高位尊，于是第一个站起来发言道：
“屈突通拥大军，凭坚城，若舍之而去，西取长安而不得，河东趁机袭我后，则腹背受敌，如何是好？不如先攻克河东，然后挥师西进。长安依恃屈突通为援，若灭了屈突通，长安不攻自破。”
李建成认为裴寂言之有理，说：“城再坚也有攻破的时候，如若调集优势兵力，四面围攻，谅也破城不难。”
李世民却深思远虑，反驳道：
“与其在这与屈突通耗着，不如挥兵西进。兵贵神速，我军恃累胜之威，安抚归顺之众。二十万大军，浩浩荡荡，径直入关。长安隋军，必望风惊骇，智不及谋，勇不及取，且代王侑乃无能之人，攻取之如振动槁叶。如果留在这坚城之下，久攻不克，坐废时日，一旦情势有变，众心离散，则大势去矣。况且关中义兵蜂起，未有归属，不可不及早去招安。”
“我军西进，若屈突通从背后袭来，如何是好？”李建成问道。
李世民轻蔑地说：“河东四面楚歌，屈突通龟缩城内，仅能自保，何足为虑，早晚会被我擒获。”
李渊权衡双方意见，决定采纳李世民的建议，西进长安，同时为防不测，留下一部分人马，由李建成统率，监视屈突通。九月十六日，李渊率主力部�