一介下赦免令的使臣一路上“不逢劫掠，依程而至”，众人都发叹异。
李渊听闻御使至，也是大惊。听到赦免令，仰天而笑，说，“此后余年，实为天付。”由此，老英雄也下了必反之心，只是要发未发之际，多怀逡巡犹豫之心。
推动李渊最终兴兵造反的，除李世民外，关键要属刘文静与裴寂二人。
刘文静，字肇仁，“伟姿仪，有器干，倜傥多权略，”时为晋阳令；裴寂，字玄真，“疏眉目，美姿容，”时为隋朝晋阳行宫的宫监。这两个人一处为官，相知甚洽，结为好友。一夜，哥俩赌钱饮酒，裴寂遥见城外烽火，凄然长叹：“遭逢乱世，家道屡空，真不知该怎么办才好。”刘文静笑道：“世途如此，时事可知。我们二人相扶相倚，还怕不发达吗！”
李渊入太原，刘、裴二人暗中观察，见其“有四方之志”，便起劲巴结这位英雄。特别是刘文静，慧眼识人，认为李世民“大度类于汉高，神武同于魏祖，其年虽少，天纵之才。”裴寂起初不信。后来，李世民与这位裴大叔假装赌钱，输给对方数百万，高兴之余，裴寂“大喜，每日与太宗（李世民）游。”李世民趁机把大计告诉裴寂，裴寂马上允诺“共举大事”。不久，刘文静倒霉，坐与李密（瓦岗那位爷）连婚，被炀帝下诏关入太原监狱。
李世民潜入牢中，与刘文静深谈。“天下大乱，唐公若能兴兵一起，乘虚入关，不到半年，帝业可成！”一见面，刘文静就劝李世民。
李世民大喜，笑道：“君言正和人意。”于是，他想方设法把刘文静先“弄出来，”然后四处部署，伺机欲发。但是，不知父亲葫芦里卖什么药，李世民也不敢轻易动手。
刘文静诈称得隋炀帝手赦，大发兵民，以伐辽东为辞，致使“人情大扰，思乱者益众”。眼看水已经搅浑，刘文静又逼裴寂赶紧鼓捣李渊起兵，并威胁说：“您身为晋阳宫监，却把宫中美人送给唐公享用，此事传出，您与唐公哪个也活不了啊！”
大惧之下，裴寂“屡促高祖（李渊）起兵。”
恰巧，马邑人刘武周结众为盗，杀太守王仁恭，自称天子，诱引突厥兵马，准备向太原挺进。李世民、裴寂、刘文静借此机会，大发库金，分散府物，四处招兵买马。而太原副留守王威、高君雅是炀帝心腹，闻讯起疑，获悉李渊父子异动，一合计，便想以到晋祠祈祷为名，把李渊诱至其地拘捕，一网打尽。
关键时刻，“吉人自有天相”。晋阳有个叫刘龙的土豪乡长，通过裴寂与李渊相识。李渊贵为帝亲，与这么一个“副科级”的财主也一见如故，喝酒吃肉，豪赌打炮。刘龙这种卑贱出身的“微细”之人，自然心中感激涕零，觉得李渊很给自己面子。同时，由于刘龙有钱，与副留守高君雅关系也不错。高君雅想“办掉”李渊，饮酒之际，自然就不拿刘龙当外人，把己谋全盘告之。刘龙出高君雅府门，一溜烟直奔李渊宅邸，“具以启闻”。
心惊肉跳之余，李渊表面镇静，对刘龙说：“您能以此事相告，深有至诚。请不要再对别人说，我自有安排。”同时，李渊暗下决心，不反也得反。
大业十三年农历五月丙寅清晨，李渊“恶人先告状”，大集僚属，声言高君雅、王威两人引突厥入寇，先发制人，当众逮捕了两人，送入监牢。两人叫苦不迭，直悔动手过晚。
更绝的是，过了两天，果然有“突厥数万骑抄逼太原，纵入城郭北门，取东门而出。”李渊也不畏惧，派先前招降的贼师王康达出城埋伏。王康达等人习惯了抢略，突厥军队过了一半，中有缺停，王康达以为是队尾，忽然跳出，准备抢马。不断，后队突厥包抄，前队突厥掉头，前后夹击，把这批“新附军”包了饺子。太原城内居民，一恨高君雅、王威“引狼入室”，二畏突厥兵马强盛，三惊城内军兵众多，忧恐之下，更加紧密地“团结”在李渊周围。
李渊指挥若定。他派遣小股部队连夜偷偷出城，占据险要之地，然后，又让这些人白天大张旗鼓，大呼入城，给突厥人造成“援军不断”的假象。同时，他还嘱诫军士，遇突厥兵，“恃险勿战”，敌退勿追，使敌人“莫测”太原守将到底要干什么。
《大唐创业起居注》记载，突厥各队首领互相嘀咕：“唐公相貌有异，举止不凡，智勇过人。前来马邑，大胜我辈。今在太原，何可当也……不如早去，留必取死！”于是，突厥人连夜遁逃。这些记载，完全是温大雅唬弄人。真正原因，一是突厥人在城外抄掠已足，急于回去享用“战利品”；二是李渊亲自给突厥的始毕可汗写信，称臣装孙子，并表示“征伐所得，子女玉帛，皆可汗有之……坐受宝玩，不劳兵马，亦任可汗……”。突厥人无远谋，又贪宝物，太原城坚，难以一时攻破，自然得了大便宜就走。李渊为自己脸上涂粉，向众人讲他是“屈于一人之下，伸于万人之上”，表示他是为了民众利益才如此“屈尊俯就”。
解除了突厥人“背后一刀”的最大危胁，处死了王威、高君雅两个“肉中刺”，李渊父子于七月份开始正式兴兵，托以伊尹放太甲、霍光废昌邑王为名，宣布废掉炀帝，立代王杨侑为帝。代王杨郁是隋炀帝亡故的元德太子杨昭之子，当时才十三岁，人又在长安，所以，李渊明显是掩耳盗铃，不过当时天下人皆争逐帝座，也没人真站出来和他在这方面较真。
突厥人听闻李渊反隋，也派柱国康鞘利等带数千匹好马赶来。李渊演戏很投入、逼真，以臣礼跪受始毕可汗书信，又大赠使臣金银美女。同时，李渊心机很深，知道突厥人所携马匹不是无偿赠送，而是要用钱购买，便只捡上等好马，购买其中一半的马匹。
起义人众见李渊如此，以为主将惜钱，便纷纷自告奋勇，要自己出钱出物换购其余马匹。李渊阻止，意味深长地劝告说：“突厥人的马象羊一样多，陆续有来，恐怕到时你们买也买不尽。胡人贪财，我们不要暴露自己有钱，现在买少量的马，表示我们很穷，也不要急需战马，如此，才能稍稍抑制这些胡人的贪心。”此外，他还诫谕出使突厥的刘文静：“突厥人派兵前战，只可收纳数百骑即可，拿他们当幌子吓唬一下隋军，此外，借胡人援军，可阻止刘武周与胡人联军政打我们。如果突厥人马众多，百姓绝无生存之理，抢掠劫杀，会造成大祸。”可以想见，李渊还真不是倚仗狼势的卖国贼，不愧是老到深谋的政治家。为此，一直跟随他左右的温大雅充满崇敬地回忆：
“帝（李渊）素怀济世之心志，有经纶天下之心。接待人伦，不限贵贱，一面相遇，十数年不忘。山川冲要，一览便忆。远近乘风，咸思托附……”
李家之所以能化家为国，究其实，李渊起到了决定性的作用。
反经合义 妙尽机权——太原起义后的李渊
八月，李渊以四子李元吉为太原留守，以长子李建成为左军，以次子李世民统右军，自率中军，从太原向长安挺进。一路顺利，“义旗之下，每日千有余人，论赏功勋……百计千端，来从如云，观者如睹……人人得所，咸尽欢心”，很有天王巨星风采，几乎是“有征无战”，兵不血刃。
一直开到霍邑（今山西霍县），李渊才遇到平生第一块难啃的骨头——隋将宋老生。
霍邑地形险要，西北抗汾水，东临霍太山，而且，宋老生手下有精兵二万，非一般隋兵可比。同时，隋廷又派左武侯大将军屈突通统辽东劲率数万于河东（今山西永济），与宋老生遥为呼应。
时值秋雨淋漓，双方均无法开战，战事胶着，最着急的当属李渊部队。《旧唐书》、《新唐书》均有类似记载：“会久雨粮尽，高祖与裴寂议，且还太原，以图后举。”李世民力谏，表示义军一定要先入咸阳，才能号令天下。如遇小敌即班师，示敌以弱，随从兵士肯定马上会心乱解体，“众散于前，敌乘于后，死亡须臾而至。”李渊不听，下令催促兵众调头回太原，李世民见状大哭，苦劝，最终让李渊回心转意，决意攻城。但是，观温大雅的《大唐创业起剧注》，乃是李渊先分析天下形势，而后征求大郎（李建成）、二郎（李世民）意见。兄弟俩皆表示：“（宋）老生轻躁，破之不疑。定业取威，在此一决……雨罢进军，若不杀老生而取霍邑，儿等敢以死谢！”此段话语，百分之九十的可能是由李建成说出，何者，古人重礼，自然是长子先发言表态，然后才能轮到李世民接碴。到了后来，太宗臣下编史书，当然都把定策的大功皆记在李世民一人头上。
李渊当时闻言而喜，马上表示，“尔谋得之，吾其决矣”，显示出李渊本人也是如此思忖，并非象新旧唐书所载是他想窜回太原。
战前，还有一段小插曲可述：李渊忽然接到刚刚杀了翟让自立为头领的瓦岗寨李密书信，信中语意夸诞，大谈“以天下为已任”，表示要与李渊交结合兵，纵横天下。实际上，此信既是试探，也隐含威胁。为了麻痹李密，李渊卑辞下意，回书李密，“鼓励”对方正应图谶，并肉麻地大肆吹捧一番：“天生蒸民，必有司牧，当今为牧，非子而谁！老夫年逾知命，愿不及此。欣载大弟，攀鳞附翼……”称兄道弟，甘愿为下。李密见信，非常高兴，并拿信向部下显摆：“唐公见推，天下不足定也！”由此，“注意东都，无心外略”，李密集中精力对付洛阳周围的军事势力，李渊就暂时又少了一个危险的对手。另外，李密傻不几几把“李氏当为天子”的谶言自揽上身，成为众矢之的，倒成全了“缓称王”的李渊。而且，在运用道教影响方面，李渊也是棋高一招，依靠“李氏为天子”、“老子当度世”的图谶，李渊尊崇老聘，当时天下信道教的徒众很多，自然始祖李耳与李渊一笔写不出两个“李”字，而李密却忘了把自己的“李”往李耳身上拐靠。
不久，天色转晴，秋雨忽止，太原军粮又及时运到