1949年10月19日，中央人民政府委員會第三次會議決定：任命羅瑞卿為公安部部長，同時兼任北京市公安局局長。稍後，羅瑞卿又被中央軍委任命為公安部隊司令員兼政委。
羅瑞卿的工作周到細致，嚴謹全麵，他出色的工作獲得了人民的首肯，也給毛澤東留下了深刻的印象，所以，當中央軍委決定組建公安部時，毛澤東點了羅瑞卿的名字，毛澤東相信他能幹得最好。
1949年5月14日，當羅瑞卿接到中央要他北上的電報時，他剛剛指揮部隊解放了太原，正準備率領部隊挺進大西北。
當時，部隊正要開拔，羅瑞卿接到了毛澤東的電報：
部隊開動時，請來中央一敘，部隊工作找人代理。
羅瑞卿看到這封電報有點摸不著頭腦。就在1月份，羅瑞卿參加了解放軍進北平儀式，還參加了在西柏坡召開的黨的七屆二中全會，然後又匆忙趕到了太原前線。這還不到兩個月的時間，就又要被急急忙忙地調回北平。在部隊即將開動，為什麼要調我這個政委北上呢？羅瑞卿百思不得其解。
5月下旬，羅瑞卿又收到了周恩來的電報，要他出任中央軍委公安部部長。羅瑞卿終於恍然大悟。
6月初，羅瑞卿完成工作交接後，就乘火車北上。
見到周恩來時，羅瑞卿的精神還沒有從戰火中走出來。羅瑞卿對周恩來說：“現在形勢很好，仗也打熟了，叫我做公安工作，我不太會做，不如叫我去打仗。”
周恩來卻堅定地說：“現在全國勝利在望，不要很長時間了。舊的國家機器打掉了，就要建設新的。公安部是管家的，很重要。”
羅瑞卿曾向周恩來建議“公安部部長還是請李克農來當好，他比我熟悉。”
周恩來說：“各人有各人的事，李克農有李克農的事，就這樣定了。今晚毛主席要見你，就不要再提打仗了。”
當晚，羅瑞卿在香山雙清別墅見到了毛澤東。
一見麵，毛澤東就說：“聽說你不願意到公安部工作？還要去打仗？要建立新的國家政權了，我們都不幹，都還去打仗，那行嗎？”
聽了這句話，羅瑞卿明白了自己的曆史使命，於是堅定地說：“黨讓我做，我決心當一輩子人民警察！我向毛主席表示，不會可以學習，可以請李克農幫助，一定要把黨交給的公安保衛工作做好。”
羅瑞卿到軍委公安部上任時，正是中共中央積極籌備召開新政治協商會議，建立新中國國家政權的重要時刻。羅瑞卿在組建公安部的同時，又重點抓政協的保衛工作。
羅瑞卿親自領導，並派出一批得力幹部到政協等各處擔負保衛工作，出色地完成了保衛了中國人民政治協商會議第一次全國委員會和開國大典的任務。
在羅瑞卿的領導下，新中國公安部的組建工作緊張有序地展開了。他上任後的第一件事就是從軍隊和地方抽調幹部，組建班子。
羅瑞卿首先以中共中央華北局社會部的全體人員加上中共中央社會部的部分機構，作為組建公安部的基礎。