在這期間，李密仗義疏財，周濟親故，養客禮賢，結交天下義士。不久，被選為隋煬帝左翊衛府衛士。
一日，隋煬帝忽然向近臣宇文述問道：“剛才左仗下那個黑臉膛的年輕人，不像是一個安分的老實人，以後不要再讓他當宿衛了！”
因為宇文述曾得過李密之父李寬的好處，便暗中指點李密，要他稱病在家，自動免職，避免被煬帝所害。
李密早已不想在那個暴君身邊待著生悶氣，便回到家裏閉門讀書，決心要在將來幹一番大事業。
一次，李密騎了一頭牛，出門去看朋友。在路上，他把一本《漢書》掛在牛角上，抓緊時間讀書。
正當李密讀得津津有味時，恰好當朝宰相楊素坐著馬車從後麵趕上來，見前麵有個少年在牛背上讀書，暗暗稱奇。
於是，楊素在車上招呼道：“喂！那個少年書生，在牛背上還讀書，這麼用功啊！”
李密回過頭來一看，認得是宰相楊素，便慌忙跳下牛背，向楊素作了一個揖，報了自己的名字。
楊素問道：“你在看什麼書？”
李密回答道：“我在讀項羽的傳記。”
楊素跟李密談了一會兒，覺得這個年輕人很有抱負。回家後，楊素跟自己的兒子楊玄感說：“我看李密這孩子的學識、才能，比你們幾個兄弟都強得多，將來你們有什麼緊要的事情，可以找他商量。”
從那以後，楊玄感真的和李密交上了朋友。
後來，隋煬帝第二次征討高麗時，派楊玄感在黎陽督運糧草，他趁機發動起義，把八千民夫組織起來，發給他們兵器，準備推翻暴君的統治。
但是，楊玄感發現自己身邊缺少一個謀士替他出謀劃策，不禁想起了正在長安的好友李密。
不久，李密應楊玄感之邀，來到了黎陽。
楊玄感向他請教道：“要推翻暴君的統治，這個仗應該怎麼打？”
李密胸有成竹地說：“想推翻暴君統治，打敗隋軍，有三種辦法。首先，暴君如今在遼東，我們帶兵北上，截斷昏君的退路。他前有高麗，後無退路，不出十天，軍糧接濟不上，他的軍隊一亂，我們不用打也能取勝，這是上策。其次，我們向西奪取長安，抄他們的老巢。隋軍如果想退軍，我們就占據關中地區作根據地，憑險堅守，這是中策。還有一計，就是就近攻打東都洛陽，不過，這可是下策了。因為朝廷在東都留著一部分軍隊，不一定能很快攻打下來。”
楊玄感聽完了這上、中、下三策之後，急於求成，覺得前兩條都太費時間，說道：“依我看，你的下策倒是個好計策。現在朝廷官員的家屬，都在東都。我們一旦攻下東都，把那些家屬都控製起來，隋軍的軍心必然動搖，還愁打不敗他們嗎？”
李密又向他提醒道：“東都有隋兵防守，一時攻不下來，對我們可不利啊！”
楊玄感終不昕李密的勸告，堅持打東都，結果兵敗身死，李密也沒有逃脫，被隋軍抓住了。
隋軍將領準備把李密送到煬帝那裏去，在半路上，李密與十幾個人被關在一起，他出了個主意：各人將隨身帶的錢財都拿出來，送給押送他們的隋兵，供他們吃喝。
那些隋兵有了錢財，隻顧喝酒作樂，防守便鬆懈下來，李密他們就趁隋兵酒醉糊塗的時候，瞅個機會逃跑了。
逃脫之後，李密很想另找機會，繼續反抗隋朝，便去找起義軍的首領做靠山，但是，許多起義軍的首領都看他是個文弱書生，不大重視他。李密沒辦法，便改名換姓，東藏西躲，幾次都差點兒被官府抓去。
正當李密無路可走的時候，他聽說東郡（河南滑縣東）瓦崗寨有一支起義軍，兵力很強，首領叫翟讓，為人厚道，又喜歡結交朋友，便決定去瓦崗寨投奔翟讓。
這個翟讓，本來是東郡的一個小吏，隻是他的上司潘某看上了他的妻子吳氏，便經常有意差他出門辦公務，便趁機與吳氏鬼混。
所謂好事不出門，醜事傳千裏。日子久了，街坊鄰居中有好事者，便把這件事泄露給了翟讓。
這翟讓本是一個正直的漢子，當時氣得恨不能取刀在手，去與潘某拚命，但他轉而一想，如果這麼莽撞地找上門去，潘某非但不認賬，反會倒打一耙，說他誣陷好人！
於是，翟讓忍了又忍，裝作不知道那回事似的。
過兩天，潘某故伎重演，又派翟讓出門辦差了。他二話不說，收拾一下就出門而去。不過，他走出東郡城門之後，走進一家小酒店裏喝酒去了，心說：“這回老子不去替你辦差了，等一會兒回去要你的狗命！”
翟讓喝了一個時辰的酒，估摸著潘某這工夫該去與吳氏幽會了。遂付了酒錢，懷裏揣了一把利刃，悄悄地回到城裏。剛到他住的那條街口，有的鄰居就提醒他道：“當心啊，家裏有野狗！”
翟讓聽了，真是火上澆油，憑一腔怒氣，又有酒力壯著膽，便大步來到門前，猛地一腳，踢開房門，向床上一看，啊！兩個狗男女正赤身裸體摟在一起呢！
潘某又驚又怕，嚇得光著屁股滾下床，撲通一聲跪在地上，一麵連連磕頭，一麵哀求著……
翟讓也不說話，趁潘某伏在地上磕頭的工夫，掏出利刃，一刀刺進他的後心，潘某當即倒地而死。
那淫婦吳氏坐在床上嚇得亂作一團，一句話也說不出來，翟讓心中暗說：“這種沒有廉恥的女人還要她何用！”
他走到床邊，把赤身裸體的吳氏拉下床來，也一刀刺死了。然後，他又把奸夫和淫婦的屍體放到一塊，關上房門，去東郡縣衙自首。
潘某與縣令早有勾結，根本不聽翟讓的申訴，就把他關押起來，判成死罪。
有個獄吏名叫劉延善，十分同情翟讓的遭遇，對他說：“我看你是條好漢，怎麼能在牢裏等死呢！我要救你！”
當天夜裏，劉延善便偷偷地替他砸了鐐銬，打開牢門，把翟讓放了，並對他說：“當今朝廷無道，天下將要大亂，你遠走高飛去吧！”
翟讓感激得流下淚來，拉著劉延善的手說：“我翟讓若有出頭之日，絕不會忘記活命之恩！”
劉延善忙說：“救人不圖謝，隻因良心在！你快走吧！三天後，說不定我就忘記了你的名字！”
翟讓逃出了監牢，心說：“當年，陳勝、吳廣都能造反，差一點就當上了皇帝。所謂亂世出英雄，我翟讓也是一個男子漢大丈夫，何必甘居人下？聽說瓦崗山上樹大林深，何不去召集人馬，占山為王？”
想到這裏，便大步登上瓦崗山。由於隋煬帝的暴政，壓得老百姓喘不過氣來，想反抗的人處處都有，而且人數還相當多。
翟讓在瓦崗山上招集了一些貧苦的百姓，在山上蓋起房屋，組成了一支起義隊伍，被人們稱為瓦崗起義軍。
李密來到瓦崗寨後，對翟讓說：“距山寨四十裏單家莊上的單雄信是個豪傑之士，弓馬純熟，武藝高強，又重義氣，可以與他結交。”
翟讓認為他說得有理，便與李密一起帶著禮物，去登門拜望，受到單雄信的熱情接待，成為知交，兩下裏往來頻繁，逐漸親密起來。
不料，單雄信的仇人武廷華得知這事之後，便要去官府告發單雄信，說他與瓦崗山賊相互勾結，陰謀叛亂。
單雄信獲得消息之後，派人報於翟讓，李密說道：“趁此機會，我們領人馬下山，幫助單雄信報仇，再邀他一起來山寨，以壯大我們的力量，豈不更好？”
翟讓笑道：“到底讀書人腦子好使，就照你說的辦！”
兩人商議妥當，便帶領山寨人馬，連夜趕到單家莊，幫助單雄信將武廷華一家十幾口人全都殺了。
單雄信對二人道：“你們幫兄弟報了仇，兄弟在這裏也不能住下去了。”便召集莊上的年輕人，趕著馬、牛、羊，擔著糧食，把全家搬到了瓦崗寨，加入了起義軍。
不久，有一個曹州離狐人徐世9也來到瓦崗寨，他雖年輕，隻有十七歲，卻生得身材魁偉，意氣軒昂，談吐文雅，謀略過人。