素性疏而辩，高下在心，朝臣之内，颇推高颎，敬牛弘，厚接薛道衡，视苏威蔑如也。自馀朝贵，多被陵轹。其才艺风调，优于高颎，至于推诚体国，处物平当，有宰相识度，不如颎远矣。
寻令素监营仁寿宫，素遂夷山堙谷，督役严急，作者多死，宫侧时闻鬼哭之声。及宫成，上令高颎前视，奏称颇伤绮丽，大损人丁，高祖不悦。素尤惧，计无所出，即于北门启独孤皇后曰：“帝王法有离宫别馆，今天下太平，造此一宫，何足损费！”后以此理谕上，上意乃解。于是赐钱百万，锦绢三千段。
十八年，突厥达头可汗犯塞，以素为灵州道行军总管，出塞讨之，赐物二千段，黄金百斤。先是，诸将与虏战，每虑胡骑奔突，皆以戎车步骑相参，舆鹿角为方阵，骑在其内。素谓人曰：“此乃自固之道，非取胜之方也。”于是悉除旧法，令诸军为骑阵。达头闻之大喜，曰：“此天赐我也。”因下马仰天而拜，率精骑十余万而至。素奋击，大破之，达头被重创而遁，杀伤不可胜计，群虏号哭而去。优诏褒扬，赐缣二万匹，及万钉宝带。加子玄感位大将军，玄奖、玄纵、积善并上仪同。
素多权略，乘机赴敌，应变无方，然大抵驭戎严整，有犯军令者立斩之，无所宽贷。每将临寇，辄求人过失而斩之，多者百余人，少不下十数。流血盈前，言笑自若。及其对阵，先令一二百人赴敌，陷阵则已，如不能陷阵而还者，无问多少，悉斩之。又令三二百人复进，还如向法。将士股忄栗，有必死之心，由是战无不胜，称为名将。素时贵幸，言无不从，其从素征伐者，微功必录，至于他将，虽有大功，多为文吏所谴却。故素虽严忍，士亦以此愿从焉。
二十年，晋王广为灵朔道行军元帅，素为长史。王卑躬以交素。及为太子，素之谋也。
仁寿初，代高颎为尚书左仆射，赐良马百匹，牝马二百匹，奴婢百口。其年，以素为行军元帅，出云州击突厥，连破之。突厥退走，率骑追蹑，至夜而及之。将复战，恐贼越逸，令其骑稍后。于是亲将两骑，并降突厥二人，与虏并行，不之觉也。候其顿舍未定，趣后骑掩击，大破之。自是突厥远遁，碛南无复虏庭。以功进子玄感位为柱国，玄纵为淮南郡公。赏物二万段。
及献皇后崩，山陵制度，多出于素。上善之，下诏曰：
君为元首，臣则股肱，共治万姓，义同一体。上柱国、尚书左仆射、仁寿宫大监、越国公素，志度恢弘，机鉴明远，怀佐时之略，包经国之才。王业初基，霸图肇建，策名委质，受脤出师，擒剪凶魁，克平虢、郑。频承庙算，扬旍江表，每禀戎律，长驱塞阴，南指而吴越肃清，北临而獯猃摧服。自居端揆，参赞机衡，当朝正色，直言无隐。论文则词藻纵横，语武则权奇间出。既文且武，唯朕所命，任使之处，夙夜无怠。献皇后奄离六宫，远日云及，茔兆安厝，委素经营。然葬事依礼，唯卜泉石，至如吉凶，不由于此。素义存奉上，情深体国，欲使幽明俱泰，宝祚无穷。以为阴阳之书，圣人所作，祸福之理，特须审慎。乃遍历川原，亲自占择，纤介不善，即更寻求，志图元吉，孜孜不已。心力备尽，人灵协赞，遂得神皋福壤，营建山陵。论素此心，事极诚孝，岂与夫平戎定寇比其功业？非唯廊庙之器，实是社稷之臣，若不加褒赏，何以申兹劝励？可别封一子义康郡公，邑万户，子子孙孙，承袭不绝。馀如故。
并赐田三十顷，绢万段，米万石，金钵一，实以金，银钵一，实以珠，并绫锦五百段。
时素贵宠日隆，其弟约、从父文思、弟文纪，及族父异，并尚书列卿。诸子无汗马之劳，位至柱国、刺史。家僮数千，后庭妓妾曳绮罗者以千数。第宅华侈，制拟宫禁。有鲍亨者，善属文，殷胄者，工草隶，并江南士人，因高智慧没为家奴。亲戚故吏，布列清显，素之贵盛，近古未闻。炀帝初为太子，忌蜀王秀，与素谋之，构成其罪，后竟废黜。朝臣有违忤者，虽至诚体国，如贺若弼、史万岁、李纲、柳彧等，素皆阴中之。若有附会及亲戚，虽无才用，必加进擢。朝廷靡然，莫不畏附。唯兵部尚书柳述，以帝婿之重，数于上前面折素。大理卿梁毗，抗表上言素作威作福。上渐疏忌之，后因出敕曰：“仆射国之宰辅，不可躬亲细务，但三五日一度向省，评论大事。”外示优崇，实夺之权也。终仁寿之末，不复通判省事。上赐王公以下射，素箭为第一，上手以外国所献金精盘，价直巨万，以赐之。四年，从幸仁寿宫，宴赐重叠。
及上不豫，素与兵部尚书柳述、黄门侍郎元岩等入閤侍疾。时皇太子入居大宝殿，虑上有不讳，须豫防拟，乃手自为书，封出问素。素录出事状以报太子。宫人误送上所，上览而大恚。所宠陈贵人又言太子无礼。上遂发怒，欲召庶人勇。太子谋之于素，素矫诏追东宫兵士帖上台宿卫，门禁出入，并取宇文述、郭衍节度，又令张衡侍疾。上以此日崩，由是颇有异论。
汉王谅反，遣茹茹天保来据蒲州，烧断河桥。又遣王聃子率数万人并力拒守。素将轻骑五千袭之，潜于渭口宵济，迟明击之，天保败走，聃子慑而以城降。有诏征还。初，素将行也，计日破贼，皆如所量。帝于是以素为并州道行军总管、河北安抚大使，率众数万讨谅。时晋、绛、吕三州并为谅城守，素各以二千人縻之而去。谅遣赵子开拥众十余万，策绝径路，屯据高壁，布阵五十里。素令诸将以兵临之，自引奇兵潜入霍山，缘崖谷而进，直指其营，一战破之，杀伤数万。谅所署介州刺史梁修罗屯介休，闻素至，惧，弃城而走。进至清源，去并州三十里，谅率其将王世宗、赵子开、萧摩诃等，众且十万，来拒战。又击破之，擒萧摩诃。谅退保并州，素进兵围之，谅穷蹙而降，余党悉平。帝遣素弟修武公约赍手诏劳素曰：
我有隋之御天下也，于今二十有四年，虽复外夷侵叛，而内难不作，修文偃武，四海晏然。朕以不天，衔恤在疚，号天叩地，无所逮及。朕本以籓王，谬膺储两，复以庸虚，纂承鸿业。天下者，先皇之天下也，所以战战兢兢，弗敢失坠，况复神器之重，生民之大哉！贼谅包藏祸心，自幼而长，羊质兽心，假托名誉，不奉国讳，先图叛逆，违君父之命，成莫大之罪。诳惑良善，委任奸回，称兵内侮，毒流百姓。私假署置，擅相谋戮，小加大，少凌长，民怨神怒，众叛亲离，为恶不同，同归于乱。朕寡兄弟，犹未忍及言，是故开关门而待寇，揖干戈而不发。朕闻之，天生蒸民，为之置君，仰惟先旨，每以子民为念，朕岂得枕伏苫庐，颠而不救也！大义灭亲，《春秋》高义，周旦以诛二叔，汉启乃戮七籓，义在兹乎？事不获已，是以授公戎律，问罪太原。且逆子贼臣，何代不有，岂意今者，近出家国。所叹荼毒甫尔，便及此事。由朕不能和兄弟，不能安苍生，德泽未弘，兵戈先动，贼乱者止一从，涂炭者乃众庶。非唯寅畏天威，亦乃孤负付嘱，薄德厚耻，愧乎天下。
公乃先朝功臣，勋庸克茂。至如皇基草创，百物惟始，便匹马归朝，诚识兼至。汴部郑州，风卷秋箨，荆南塞北，若火燎原，早建殊勋，夙著诚节。及献替朝端，具瞻惟允，爰弼朕躬，以济时难，昔周勃、霍光，何以加也！贼乃窃据蒲州，关梁断绝，公以少击众，指期平殄。高壁据岭，抗拒官军，公以深谋，出其不意，雾廓云除，冰消瓦解，长驱北迈，直趣巢窟。晋阳之南，蚁徒数万，谅不量力，犹欲举斧。公以棱威外讨，发愤于内，忘身殉义，亲当矢石。兵刃暂交，鱼溃鸟散，僵尸蔽野，积甲若山。谅遂守穷城，以拒鈇钺。公董率骁勇，四面攻围，使其欲战不敢，求走无路，智力俱尽，面缚军门。斩将搴旗，伐叛柔服，元恶既除，东夏清晏，嘉庸茂绩，于是乎在。昔武安平赵，淮阴定齐，岂若公远而不劳，速而克捷者也！朕殷忧谅闇，不得亲御六军，未能问道于上庠，遂使劬劳于行阵。言念于此，无忘寝食。公乃建累世之元勋，执一心之确志。古人有言曰：“疾风知劲草，世乱有诚臣。”公得之矣。乃铭之常鼎，岂止书勋竹帛哉！功绩克谐，哽叹无已。稍冷，公如宜。军旅务殷，殊当劳虑，故遣公弟，指宣往怀。迷塞不次。
素上表陈谢曰：
臣自惟虚薄，志不及远，州郡之职，敢惮劬劳，卿相之荣，无阶觊望。然时逢昌运，王业惟始，虽涓流赴海，诚心屡竭，轻尘集岳，功力盖微。徒以南阳里闾，丰沛子弟，高位重爵，荣显一时。遂复入处朝端，出总戎律，受文武之任，预帷幄之谋。岂臣才能，实由恩泽。欲报之德，义极昊天。伏惟陛下照重离之明，养继天之德，牧臣于疏远，照臣以光晖，南服降枉道之书，春宫奉肃成之旨。然草木无识，尚荣枯候时，况臣有心，实自效无路。尽夜回徨，寝食惭惕，常惧朝露奄至，虚负圣慈。贼谅包藏祸心，有自来矣，因幸国哀，便肆凶逆，兴兵晋、代，摇荡山东。陛下拔臣于凡流，授臣以戎律，蒙心膂之寄，禀平乱之规。萧王赤心，人皆以死，汉皇大度，天下争归，妖寇廓清，岂臣之力！曲蒙使臣弟约赍诏书问劳，高旨峻笔，有若天临，洪恩大泽，便同海运。悲欣惭惧，五情振越，虽百殒微躯，无以一报。
其月还京师，因从驾幸洛阳，以素领营东京大监。以平谅之功，拜其子万石、仁行、侄玄挺皆仪同三司，赉物五万段，绮罗千匹，谅之妓妾二十人。大业元年，迁尚书令，赐东京甲第一区，物二千段。寻拜太子太师，馀官如故。前后赏锡，不可胜计。明年，拜司徒，改封楚公，真食二千五百户。其年，卒官。谥曰景武，赠光禄大夫、太尉公、弘农河东绛郡临汾文城河内汲郡长平上