王世充本來姓支，祖上是西域胡人，祖父支頹褥徙居新豐。支頹褥病逝，年輕守寡的妻子與儀同王粲偷情，生了一個兒子，王粲便納支氏為小妾。支頹褥死後留有一個兒子叫支收，當時年幼，也隨母親到了王粲家，支收從此改姓王，長大後做過揚州和柳州長史，他就是王世充的父親。
因為是西域胡人後代，王世充長得體形魁偉，頭發卷曲，聲音粗獷宏亮。他性格詭詐，也讀了不少的書，略通龜策推步盈虛，但他絕不對人談及自己的身世與喜好特長，一副大智若愚的樣子。
文帝開皇年間，王世充被選充左翊衛，後以軍功，授兵部員外，大業元年，又遷至江都郡丞。煬帝巡幸揚州，能察言觀色，阿諛順旨的王世充博得了皇上的十分好感。因此，煬帝又任命他兼做江都宮總監。
看到皇上對新建的宮殿非常滿意，王世充心中更是得意。聽皇上稱他幹事老練，他更是受寵若驚，喜不勝喜，但臉上仍是一副謙遜的表情。他說：“陛下，王世充今生最大的願望，就是為陛下效盡犬馬之力。隻要陛下高興，微臣赴湯蹈火也在所不辭。”
煬帝聽了，欣喜地點點頭。此時他站在臨江宮的凝暉殿前，憑欄遠眺，滔滔長江滾滾東去，煙波浩渺，氣勢壯闊，不禁心生感慨，問道：“江南宋、齊、梁、陳曆朝諸代都像這江水淘沙一樣匆匆而去，不能長久，王愛卿，你說這是為什麼？”
王世充略略沉思，說：“陛下，依微臣之見，都因為那些國君久坐深宮，不遊天下，不見百姓，也就不能久立於世界。”
煬帝驚訝地看了王世充一眼，高興地說：“王愛卿，沒想到你的見解如此精辟，與朕不謀而合，自古天子就有巡視四方之禮儀，可是江南諸朝的帝王都是些擦脂抹粉之輩，足不出深宮，麵不見百姓，隻有坐等敗亡。朕以為，要使國運昌盛，大業持久，就必須巡視四方，知天下之事，察百姓之情，才能相機施法，因時、因地、因人而製宜啊！”
王世充激動地拍手叫道：“陛下所言讓微臣豁然開朗！真是讀萬卷書也未必得此一句真諦！“那麼，王愛卿，朕命你建造這些宮殿是不是靡費了呢？”
“陛下，絕無此說！”王世充堅定地回答，“微臣以為，天子巡視四方乃天經地義。而天子出巡，所到之處必須要有合乎天子身份的居所，不然就有失天子威儀，也有辱國體。依臣之見，諸如汾陽宮、晉陽宮和江都宮這樣的禦苑不是多了，而是太少了；哪裏是靡費，而是必須！所以……”說到這裏，王世充忽然停住了。
煬帝問道：“所以什麼？”
王世充跪地叩頭，說：“請陛下恕微臣擅斷之罪！”
“說吧，朕恕你無罪。”
“陛下，江都諸宮殿開工之後，微臣盡職盡責，精打細算，既使宮殿如期如願完成，又節省下大批石材木料，於是微臣擅自決斷，請浙江省著名石匠項升，在揚州西北蜀岡東峰為陛下建造了一座迷樓，絕沒有另費府庫一毫白銀。”
“噢，還能有不花錢就蓋起樓房的好事？”煬帝不禁大喜，“你先與朕說說，什麼叫迷樓？”王世充說：“恭請陛下禦駕迷樓，隻有身臨其境，才能體會其中奧妙！”
揚州西北的蜀岡是一片不很高的山丘，它沒有峰巒岩的險峻，隻有林木疊翠，澗流潺潺，幽靜而且秀美。東峰是蜀岡之中較為平緩的一個山包，迷樓就建在這裏。
東峰下有一條石徑通向迷樓，王世充在前引導，與煬帝拾級而上，遠遠地就看見迷樓參差，軒窗掩映，朱紅色的欄杆曲折迂回，珠光玉色在陽光下相映生輝。整個樓閣在茂林翠竹的擁圍中顯得光怪陸離，透著異樣的精采與神秘。
王世充引路，煬帝步入樓內。底層是一座正殿，大門兩邊蹲著麵目猙獰、氣勢雄偉的玉獸。殿內雕梁畫棟，金碧輝煌。王世充還介紹說，此殿可供陛下接見臣屬，商議國事。煬帝點頭稱是，隨即漫步上樓