原的安全，而太原最大的威胁来自突厥。突厥控弦百万，十分强大，若一味与其对抗，以后仍然会麻烦不断，只有实行表面妥协和畏服的办法，才能确保太原的安全，确保起兵的顺利实施。
大家一致表示赞同。李渊虽觉畏服突厥，会召来天下骂名，但眼下却不得不如此。于是修书一封，再遣刘文静出使突厥。
信中李渊表达了自己欲取天下，向突厥屈节求和之意。并投其所好，言取天下后，除土地之外，货财宝物，任其所取。始毕可汗接信后非常高兴，对臣下说：
“我知唐公是非常之人，果做异常之事。今上书恭维于我，我当从之。以求宝物。”为了表示向突厥的臣服，裴寂等人主张起兵用白旗，以和突厥的旗色保持一致。李渊认为太露骨，不同意，最后采用李世民的意见，一半是红，一半是白，“杂用绛白”，以表示既不纯属于隋朝、也不纯属于突厥。
北连突厥，解除了后顾之忧，这时李建成、李元吉和柴绍也赶到了太原。李渊觉得正式起兵的机会到了，立即召开太原郡各级官员大会，会上，李渊言隋炀帝无道，致天下大乱，决定依伊尹放逐太甲、霍光废昌邑的故事，废隋炀帝而立代王。并传檄各县，克日起兵。
文武官员都知道李渊葫芦里卖的是什么药，尊隋是假，欲取天下是真。虽说如此，绝大多数人还都愿跟着李渊。听完李渊的号令，与会的官员爆出一阵欢呼声。
李渊为人行事再好，也有人不买他那一套。起义檄文传到了西河郡（今山西汾阳），郡丞高德儒甘愿为隋炀帝尽忠，不听从李渊之命，且坚壁清野，与太原断绝交通。想在乱世之中，夺取天下，就不能怕打仗。李渊决定首先拿西河郡开刀。李世民自告奋勇，愿去打这起兵的第一仗。但李世民毕竟年仅二十岁，又是单独领兵攻城，李渊怕有什么闪失，派大儿子李建成与李世民一起去，并任命诚实稳重的新任太原令温大有为行军参谋。行军之前，李渊拉着温大有的手说：
“我军兵马尚少，又多是新兵，无实战经验。此次又要攻城略地，非比平日打仗。我儿年少，派卿参谋军事，希望你用心而为之。这一仗关系重大，若赢了，帝业可成也。”
李渊又勉励二子一番。李建成、李世民跪地明誓，表示“家国之子、忠孝在焉”，坚决完成任务，若有闪失，愿受军法裁处。李建成这些年在河东，也没有白混日子，平日也研习了不少兵法。今见军队多为新招募的兵士，训练还不到位，行军举止都没有章法，于是边行军，边教以军法。你别说，还真管事，部队行军的步伐整齐多了。行军时，李世民总是一马当先，走在队伍的前列，遇到危险，就挺身而上。每顿饭也与士兵一起吃，颇得人心。温大有又与李建成、李世民商议，约定部队对百姓要秋毫无犯。行军中，见果蔬，非买不食。遇到乡绅里老送牛酒，则婉言谢绝。这支部队虽然年轻，但却得到了老百姓的一致好评。得人心者得天下，年轻的李世民已深深地明白了这个道理。
兵马顺利开到西河城下。李建成、李世民卸去铠甲，放下刀枪，空身至城下喊话，言明来意，做守城部队的思想工作，瓦解其战斗力。
此时，隋炀帝无道，偏居江都，天下几乎到了无主的地步，守城的官兵也禁不住自己考量，想寻条明路。西河郡司法书佐朱知瑾心眼早活动了，暗地里组织一些亲信朋友，准备反正。
高德儒高郡守执迷不悟，执意要当烈士，对着城下的李建成、李世民破口大骂，并令人放箭。兵无战心，箭矢也没有劲，纷纷射落在李建成、李世民的马头前。两人拍马回归本阵，李世民穿上铠甲，提着砍刀，对李建成和温大有说：“少跟他啰嗦，立即攻城！”
一声令下，兵士们嗷嗷叫地扑了上去。飞梯刚搭上城墙，李世民第一个往上爬，兵士们见状，备受鼓舞，人人奋勇争先，守城之兵见状，没等攻城的人爬上来，便弃械逃跑。高德儒见大势已去，急忙和几个亲兵护卫一块，换上百姓衣服，窜向城中。李世民等攻城战士未受任何抵抗，便涌入城中，城门大开，李建成、李世民，温大有率一队兵士，直奔郡丞府，开府办公。坐在郡丞府的大堂上，李建成自然高兴，摸摸这，看看那，又万分遗憾地说：
“没抓住高德儒，真是遗憾。”
话音刚落，只见郡司法书佐朱知瑾领几个人拖进一个人来，众人定睛一看，抓来的人正是高德儒。温大有比较熟悉这高郡丞，指着李建成、李元吉说：
“当年他路遇野鸟，硬说见到的是鸾鸟，佞惑隋主，以为祥瑞，才混得现在的一官半职。”
李建成拍手兴奋地说：“把这老家伙押往晋阳，让父亲大人看着也高兴高兴。”
一旁的李世民，却鼻子里哼一声，说：“这样的茅坑石头俯拾皆是，有何看头？来人呐——”
堂下站立的卫士应声上前，李世民也不和李建成商量，径自命令道：
“把这高德儒推出斩首示众！其他人等，一概免罪。”
李建成见李世民如此，心下不悦，却也没说什么。第二天，平定西河的军队即高奏凯歌，回到晋阳，来回才不过九天。李渊亲自到城外迎接，高兴地对左右说：“如此行兵，虽横行天下可也！”
这年六月，李密率瓦岗军围攻洛阳，大败隋军于平乐园。隋炀帝急命江都通守王世充、河南大使虎牙郎将王辩、河北大使太常少卿韦霁，率部增援洛阳。一时间，长江以北的隋军主力皆集中在洛阳战场上。长安城守备薄弱。李渊决定发兵进攻关中，夺取长安。为争取人心，多募兵马，李渊命令开仓放粮，救济贫民。此举大受百姓欢迎，来参军的人一天天增多。太原的总兵力已达五万余人。大业十三年（617年）六月十四，正式建立大将军府。裴寂等属下上尊号称李渊为大将军。李渊以李建成为陇西公、左领军大都督，管辖左三统军，李世民为敦煌公、右领军大都督，辖领右三统军，李建成、李世民各设官属，柴绍为右领军长史。
李渊首封裴寂为大将军府长史、刘文静为司马，唐俭和前长安尉温大雅为记室，温大雅与其弟温大有共掌机密。武士彟还干老本行，为铠曹，全面主管军供工作。刘政会、崔善为、张道源为户曹。原晋阳长姜谟为司功参军。原太谷长殷开山为府掾。长孙顺德、刘弘基、窦琛及原鹰扬郎将王长谐、姜宝谊、阳屯等为左、右统军。
总之，原太原留守府的各级官吏大部分留用，随才授职。
七月四日李渊任命四子李元吉为镇北将军，领太原太守，全权处理后方太原的一切事宜。五日，李渊率三万甲士誓师出征。
此次是起事之后的首次远征，场面搞得十分隆重。正阳门外宽阔的大校场上，三万甲士按分布排列，其中步兵营居前，骑兵营在后。兵士们皆铠甲鲜亮，枪刀闪光，甚是齐整、威武。校场周围，白绛杂色的旌旗猎猎作响。再远些，隔离栏之外，围满了百姓，大人小孩都伸着脖子看。
校场北边，面南背北，临时搭建了，一个高台子。台子上，李渊身着大将军服，坐于虎皮帅椅上。左右一字排开四十八名偏将，一个个挺胸昂首，威风凛凛。再往前，置两排座椅，坐着十几个裴寂等大将军府的主要官员。
滴水表前，值日官眼瞪得老大，见预定的吉时已到，忙举起手中的小黄旗，骤然一挥。誓师大会总指挥裴寂见状，挺身上前，手举铁皮喇叭，高声宣布此次进军关中的重大意义，而后请敦煌公李世民代表三军将士，宣读誓词。
李世民一身戎装，阔步上前。他威严地扫视台下黑压压的甲士们一遍，才拿出誓辞，高声宣读：
夫天地定位，否泰迭其盛衰。日月著明，亏昃贬其贞满，惟神莫测，尚乃盈虚。……时属艰危。则其股肱宰衡，藩屏亲戚，戮力同心，推心翼戴，颠或可扶，糺合而奔。官守恶而不可赦，废放而安宗社。……今上之行己也，独智自贤，安忍忌刻。……巡幸无度，穷兵极武。喜怒不恒，亲离众叛。……征税尽于重敛，民力殚于劳止。……今便兴甲晋阳，奉尊代邸，扫定咸雒，集宁寓县。放后主于江都，复先帝之鸿绩。……家怨国耻，雪乎今日。从我同盟，无为贰志。有渝此盟，神其殛之。
李世民刚宣完誓词，但听一声炮响，惊天动地。台下的将士们发出暴风雨般的欢呼声。李渊站起身来，高声命令：“三军出发！”
李世民令旗一挥，五千骑兵，马蹄得得，在旗幡的引导下，率先出场。接着是步兵营。烟尘飞起，逶迤不断。最后压阵的又是一营骑兵。李渊等出征的将士也跨上战马，离开北校场，挥军向长安进发。
晋阳起兵，打的是“立代王为帝”这种“尊隋”的名义。此种“掩耳盗铃”的做法，帮了李渊的不少大忙，避免了大臣犯上谋反的恶名，檄文所到之处，还真颇有鼓动作用。
出师途中，李渊不敢有丝毫大意，让李建成和李世民领亲兵家僮不断巡视兵营。凡器仗、粮草、战马无不让其心腹掌握。大军分前军后军中军，李世民在前，李建成在后，李渊居中，互为呼应。但李渊怕遭受埋伏，仍不放心。除派刘弘基率侦骑前行外，又派通议大夫张纶领军至离石、龙泉、文城三郡，作为主力军右翼掩护。
由于屈节交好突厥，西突厥大将阿史那大奈亦率军从征。七月八日，大军到达西河郡。稍稍休整，李渊即亲自慰劳吏民，赈济贫困。百姓中七十岁以上，皆授为散官，虽无实权，却有俸禄。其他豪杰，也一律量才录用。由于建制不全，没有官印，无法印制告身（委任状）。李渊就手写官名，一天竟任命一千多人。官员们手持李渊手写的官名，兴高采烈，皆愿为李大将军拼死报效。
守长安的隋代王杨侑闻听李渊叛乱，欲来抢夺长安�