韓日訪問歸來，史語所新建的研究大樓已近全麵竣工，遂開始搬遷使用。這是董作賓近幾年來殫精竭慮，盡其全力所做的事情。１９５５年８月，全所搬遷安置停當後，他接受了香港大學東方文化研究院研究員的聘約，以整理自己曆年來的積稿為理由，提出辭去史語所所長職務，並向台灣大學請假，準備前往就任。
對於董作賓辭職前往香港的真實因由，多方麵說詞不一。陳槃、石璋如回憶是因其家庭生活困窘方麵的原因，石璋如說：“董作賓所長因為家中人口眾多，靠薪水生活相當辛苦，也希望好好休息，正好香港的大學有研究所在香港講授《殷墟》請他去，所以完成南港的工程後，覺得無愧同仁，就在七月辭職，八月離台。”李濟在《南陽董作賓先生與近代考古學》一文中也有類似的說法：“到了台灣以後，教育界和學術界全都屬於逃難階級，有朝不保夕的感覺。‘中央研究院’來台的若幹人士，大部分被收容在台灣大學以內，台大是一個教學機構，若要領一份薪水，就要教若幹功課，自然研究的時間就要減少到最少的程度。這時代的董先生的大部分的精力都用在維持一個最低生活水準方麵。他辦《大陸雜誌》，以及應聘香港大學，以及在台大的教書，都不是他衷心想做的工作。”這是很有道理的，也許就是董作賓離台的原因。
但是，我們分析１９５５年４月１２日董寫給李濟的一封信，可以看出他的辭職的原因應該是多方麵的。信的全文如下：濟之兄：
四月一日函，昨始轉到。此次紐約談話會，兄等多所偏勞，至感！弟前函所雲，確是實在情形，兄歸後弟絕對讓賢，並非客氣。維持本所義務，兄亦責無旁貸。聞兄等不讚成考古分立，極為感慰！弟之所見，以維持孟真成規為最善也。騮公日前曾到南港，招同仁座談，自南京說起，一氣談三小時，不過解釋考古、民族、近代史分立問題而已，無人發言而散。
兄函言華大擬印講演稿，需印未發表之照片一事，一切請兄決定，弟無不同意。此次兄等談話會記錄到後，騮公似甚著急，且此間“行政院”未允近代史所籌備，“總統府”亦未核準備案，而事實上近代史所已成立三個月，每月數人發薪，尚不能報銷也，故騮公甚著急。昨（朱）有一長函致胡公及潤老，詳加解釋，或胡公將轉兄等閱之。事實上近史所成騎虎不下之勢，人已聘了很多（不清楚），外麵多責難，又不能中輟不辦，辦又無根據。此朱公自尋苦惱耳。弟勉強維持其殘年，一切無興趣，故讚成反對皆無表示。但希望在兄考古組治下，仍作一點甲骨學研究而已。六月可定期返台否？極盼早歸。
專送
旅安
弟
賓上
四月十二日
方桂兄一紙，乞轉達。
這是董作賓出訪韓國前寫給遠在美國的李濟的信，信中的“紐約談話會”係指１９５５年３月在紐約召開的“中央研究院”在美院士談話會，騮公、朱公均指朱家驊（騮先）。顯然董作賓對院長朱家驊的新舉措“考古、民族、近代史分立”有不同看法，希望“維持孟真（傅斯年）成規”。而朱家驊步步緊催，會都開到紐約了，在這種情況下這位一向與世無爭。“一切無興趣”的謙謙君子激流勇退，主動“讓賢”，這也許是董作賓辭職赴港的更深層次的原因。至於“整理積稿”，隻是搪塞的說詞而已，自從接任所長以來，更早抗日戰爭時在昆明與李莊代理所務期間，無論事務性工作多麼繁重，從來沒有影響他的研究。而“生活困難”也難說得過去，吃慣苦的董作賓這時候的狀況，要比抗戰時期在李莊好得多了。董作賓辭去所長後由李濟繼任史語所所長，李濟也是不讚成考古組分立的。朱家驊院長後來也辭職，分所的舉措也就沒人再提了。
董作賓是在香港大學東方文化研究所從事研究工作，時任香港大學文學院院長的林仰山（F.S.Drake），早年曾在山東齊魯大學任教，與那時也在齊魯大學任教的加拿大傳教士明義士交情深厚，明義士常常向他談到董作賓，因此極慕董盛名，特聘為香港大學榮譽教授。在這期間董作賓還先後兼任香港崇基書院、新亞書院和珠海書院教授。上個世紀５０年代初期，為解決戰亂中滯留香港的學生就學問題，一些個人、團體和宗教組織相繼創辦學校，這些學校也都重視中國傳統文化。