《清明上河圖》的收藏可謂是曆盡磨難。張擇端完成這幅歌頌太平盛世的曆史長卷後，首先將它呈獻給了宋徽宗。宋徽宗因此成為此畫的第一位收藏者。作為中國曆史上書畫大家的宋徽宗酷愛此畫，用他著名的“瘦金體”書法在圖上親筆題寫了“清明上河圖”五個字，並鈐上了雙龍小印。然而此部分今天已不複存在，這有兩種可能，一是作品流傳太久，經常被人玩賞，慢慢地開頭部分就壞掉了，後人重新裝裱時就幹脆把這一段破損處裁割掉；一是有人故意將此部分裁截下來，單做一幅畫另賣高價，這種事在曆史上屢見不鮮。
這件享譽古今中外的傳世傑作，在問世以後的八百多年裏，曾被無數收藏家和鑒賞家把玩欣賞，是後世帝王權貴強取豪奪的目標。它曾輾轉飄零，幾經戰火，曆盡劫難；它曾經五次進入宮廷，四次被盜出宮，曆經劫難，演繹出許多傳奇故事。
（一）靖康之難，流出宮外
在《清明上河圖》題跋當中，今天能見到最早的是金代人張著的題跋，以後便是元朝人的題跋，而無南宋人的題跋和任何收藏印記，證明該圖未曾流傳到南宋而仍然留在北方，這是怎麼回事呢？原來它牽涉到一樁特大的竊奪案。
北宋王朝的建立，始終沒能解決與北方遼、金、西夏等政權的紛爭。先是與遼、金連年不斷地發生戰爭，割地賠款，屈膝求和。1126年，金兵大舉南下，直抵汴京。金兵破城以後，殺人放火，搜刮財物，把宋徽宗、欽宗、後妃、公主、宗室、大臣三千餘人，以及各種文物、圖書、檔案、天文儀器和技藝工匠等全部擄掠而走。
在這一次掠奪中，就包括了《清明上河圖》。但奇的是，《清明上河圖》卻沒有歸入金朝皇宮，而是流傳在民間。現卷後贉紙最早的題跋，是張著、張公藥、酈權、王磵、張世積等，都是北宋滅亡後留下的遺民。他們展視此圖，緬懷故國，昔日的繁華今已成瓦礫，感慨係之，題詩以詠。但是此圖為何人所有，他們在何處觀看，誰都沒有說明，以致今日難以查考。想當時金兵入城，一片混亂，有人趁火打劫，將宮中財寶藏匿，據為己有，是情理中的事情，《清明上河圖》可能就是這樣從皇宮中被偷盜出來，第一次流入民間。
蒙古人滅金吞宋，建立元朝之後，統治者到處搜刮財寶，《清明上河圖》再次進入宮廷，為皇家所有。
（二）裝裱匠以假易真，二次出宮多輾轉
到元代後期的至正年間，宮內有一個裝裱匠看準了《清明上河圖》，趁裝裱這件作品的時候，用了一個調包計，用一個臨摹本把真本偷換出宮，悄悄地賣給了某貴官。貴官後來被派到真定（今河北省正定）駐守，負責保管這幅畫的人，又偷偷把它賣給了杭州人陳某。陳某保存了數年，因為家境窘迫，想得到一筆錢用，並且又聽說某貴官快要從真定回來了，害怕事情敗露連累到自己，因此急急忙忙要找一個買主，秘密賣掉。恰好這時寓居北京的江西泰和人楊準，是個博雅好古之士，在京搜訪古名家筆跡，得到這個消息，傾盡囊中所有，以重金收購。
楊準得到《清明上河圖》是在元至正十一年（1351年），不久即回到老家，畫也隨他到了南方。他得到這一作品，喜不自勝，第二年，就把得到這一名作的經過詳詳細細地記錄在圖後的尾紙上。《清明上河圖》第二次從皇宮裏偷盜出來的細節，就這樣被清晰地記載下來。同年秋，江西新喻（今新餘縣）人劉漢在楊準的家裏見到這一作品，他是行家，對作者高超的技藝欽佩得五體投地，在楊準之後也寫了一個跋，稱這一作品為“希世玩”，要楊氏子孫永遠“珍襲”。可是，僅僅隔了十四年，即元至正二十五年（1365年），《清明上河圖》已經到了靜山周氏的家裏。究竟是楊準自己賣掉的，還是在他死後子孫賣掉的，不得而知。
根據圖後李祁、吳寬、李東陽、陸完等人的題跋，以及有關文獻記載，《清明上河圖》在靜山周氏之後，曾經為藍氏、吳氏收藏，到明弘治年間，則為大理寺卿朱文徽所有，吳寬見到此圖，和李東陽三十年後再見此圖所寫的跋，都是在朱的家裏。其後就到了徐溥的手裏。徐溥，江蘇宜興人，景泰時中進士，累官至華蓋殿大學士，在他臨終前，說是李東陽的叔祖李祁的字跡在上麵，就命他的孫子中書舍人文燦把這一名作贈送給李東陽。李東陽是湖南茶陵人，天順時中進士，官至文淵閣大學士。他是一名書法家，也是鑒賞收藏家，他的長詩和長跋，對《清明上河圖》推崇備至，評價極高。
（三）陸夫人繡枕藏畫
明嘉靖三年（1524年），《清明上河圖》轉到長洲人陸完的手裏。陸完字全卿，成化年間（1465—1488年）中進士，官至太子少保、兵部尚書，名重一時。曾經接受寧王朱宸濠的巨額賄賂，為其在朝廷說話。後來因朱宸濠謀反作亂被抄家時，發現有與陸完往來信件而被捕入獄，本當處以死刑，因念及他鎮壓河北劉六、劉七的農民起義有功，改判為謫戍福建靖海衛，最後死在衛所。明代李日華《味水軒日記》載：陸完死後，他的夫人將《清明上河圖》縫入枕中，不離身半步，視如身家性命，連親生兒子也不得一見。陸夫人有一娘家外甥王某，言辭乖巧，非常會討夫人歡心。王某擅長繪畫，更喜歡名人書畫，便挖空心思向夫人央求借看《清明上河圖》。反複懇請後，夫人勉強同意，但不許他帶筆硯，隻許他在夫人閣樓上欣賞，而且不許傳給別人知道。王某欣然從命，往來兩三個月，看了十餘次以後，竟臨摹出一幅有幾分像的畫來。當時專橫跋扈的大奸臣嚴嵩正四處搜尋《清明上河圖》，都禦史王忬得知後，便花800兩紋銀從王某手中購得贗品，獻給嚴嵩。嚴嵩府上有一裝裱匠湯臣，認出畫是假貨，便以此要挾王忬，令其出40兩銀子賄賂自己，但王忬對其不予理會。湯臣惱羞成怒，在嚴嵩設宴歡慶時，將圖上舊色用水衝掉，嚴嵩在眾人麵前大為窘迫，以後便尋機將王忬害死，臨摹此畫的王某也因此受到牽連，被抓去餓死獄中。