唐高祖下令征召竇氏舊將，範願、董康買、曹湛、高雅賢等均在其名單中，聽到消息後，他們就聚在一起商量。
範願說：“王世充降唐，大臣段達、單雄信等，均被處死，我等若到長安，一定和他們是相同的命運。我們十幾年來，身經百戰，九死一生，今不如再次舉事。當年夏王提到淮陽王，以賓客之禮相待，並放歸於唐，唐捉到夏王，立即殺死。我們都受夏王厚恩，如不替他報仇，既對不起夏王，也無顏見天下人，豈不慚愧嗎？”
高雅賢接著說：“我本想讓家屬先躲一躲，偏偏這班狐朋狗黨先聽到風聲，把我家眷抓去幾人，幸虧我不在家，才脫了身，現在要我進去，隻有死路一條，反正都是死，何不另謀他路。”
董康買、曹湛等表示讚成。接著大家推選主帥，討論了好久都沒有結果，於是用卜卦來確定主帥，卜封者認為，應推姓劉的為主帥。
高雅賢說：“漳南劉雅，是夏王舊將，我們去請他。”
一同到劉雅家，劉雅問有何事，大家把計劃告訴他。劉雅搖頭說：“天下剛剛安定，我隻願耕田種桑，做個老百姓算了，不願再談打仗之事：”
高雅賢很不高興地說：“是不願意出去了？”
劉雅說：“這就由我自便。”
高雅賢緊逼說：“你不願去，是不顧老朋友的情誼，我們對你也就不講情麵了。”
劉雅站起來說：“你們與我無情也無妨。”
這時，範願竟拔出刀來亂砍，大家一起動手，砍死了劉雅。
範願又提議：“前漢東公劉黑闥，勇略過人，性格善良、仁慈。我曾聽說，劉氏應當稱王，要收夏王的部眾而舉大事，非此人不可。”
劉黑闥小時與竇建德為友，隋末參加瓦崗軍。武德元年瓦崗軍失敗，被王世充俘虜，不久率部逃到河北跟隨竇建德。因劉黑闥處事果斷、驍勇多謀，極受竇建德器重，被封為東漢公。竇建德失敗以後，他回到漳南故裏隱居，一邊種菜，一邊觀察局勢，等待時機。正好範願、董康買、曹湛以及高雅賢等一起來找他。劉黑闥正在園中鋤菜，看到這些人來，請入房中，問明來意，範願談了自己的計劃，劉黑闥稍微推辭就答應了。
經過一番精心部署，劉黑闥於七月十九日襲擊並占領漳南縣，宣布起兵反唐，並築壇祭奠竇建德，向竇建德的亡靈昭告他們起兵的意圖。他們利用竇建德的名字，很快就聚眾百人，不幾天就聚得數千人。劉黑闥的行動得到河北相當多人擁護，實力發展很快，這些人都是當過兵的，打起仗來很熟練，一些州縣相繼陷落，官吏不斷遭到殺害。反唐的火焰大有燎原之勢。
劉黑闥自稱大將軍，向東進軍。八月十二日，劉黑闥攻陷霸縣，唐魏州刺史權威、貝州刺史戴元祥和他交戰，均失敗身亡。劉黑闥得到二人的部眾及全都武器裝備，擁有2000人馬。
八月二十二日，劉黑闥攻陷曆亭縣，殺害了唐屯衛將軍王行敏。曾在竇建德時期當過深州刺史的崔元遜及其幾十名同黨，埋伏在蓋滿稻草的車上，直接衝入州府衙門，殺了唐任命的深州刺史，割下首級送給劉黑闥。
十月六日，劉黑闥攻陷瀛州，殺死唐瀛州刺史盧士睿。觀州老百姓捉住刺史雷德備，以城歸順劉黑闥。毛州百姓董燈明等人暴動，殺死刺史趙元愷響應劉黑闥。
十一月十九日，劉黑闥攻陷定州，捉住唐總管李玄通。劉黑闥愛惜他的才能，想任命他為大將，李玄通不從命。他原來的部下送給他酒肉，李玄通說：“各位可憐我身受囚禁之辱，幸以酒肉來開導安慰我，我要與各位一醉方休。”酒喝到興頭上，李玄通對看守說：“我能舞劍，希望把刀借我用一下。”李玄通舞完後舉刀剖腹而死。二十七日，杞州人周文舉殺死刺史王文矩，響應劉黑闥。
饒陽崔元遜襲占深州，殺刺史，響應劉黑闥；兗州徐圓朗已經降唐封魯國公，現又和劉黑闥聯合，自稱魯王。各州豪強，紛紛起事，劉黑闥勢力逐漸強大，淮安王李神通等合並出戰，皆被打敗。劉黑闥接著攻陷瀛州，殺刺史，再攻陷定州，總官自殺，陷冀州，殺刺史。
趙、魏境內，所有竇氏故將爭殺唐吏。十二月三日，劉黑闥攻陷冀州，殺唐剌史麴棱。黎州總管李世勳駐崇城，聽劉黑闥來攻，自以為抵擋不住，急忙退往洛州，路上被追殺，5000人一個不剩，隻身逃走。不到半年，劉黑闥收複了竇建德故地。
武德五年（公元622年）正月，劉黑闥自稱漢東王，改年號為天造，設都城於洺州。竇建德時期的文武官員全部恢複了原來的職位。劉黑闥的法令行政，全部效法竇建德。
武德五年正月八日，李淵非常著急，隻好再派秦王李世民、齊王李元吉出兵山東，討伐劉黑闥。開始了在唐初統一戰爭中指揮的最後一個戰役。
秦王李世民先奪回相州（今河南安陽）。麵對唐軍的強大攻勢，劉黑闥退守洛州。十四日，李世民再進軍肥鄉，在洺水南岸紮下營寨，步步緊逼，列陣於洺水附近，與劉黑闥軍營相對而紮。