黎民百姓創作了不少有關包拯的傳奇故事，但若數建造紀念包拯的祠堂廟宇，創作讚頌包拯的歌賦詩詞和楹聯碑記，卻是曆朝曆代文人墨客的功勞。包拯在朝廷官員中，是一位忠、孝、節、義俱全的人。特別是他為官公正廉潔、剛直不阿，被正直的士大夫視為楷模。在包拯逝世之後，建祠紀念他，撰詩詞立石碑讚頌他，是士大夫們樂意做的事情。
包拯初到諫院時，他讀書時結識的好友、興化寺的仁嶽和尚就讚譽他“稟純一之性，有端方之節。危言篤論，可以正遺闕；博學遠識，可以備顧問”。包拯死後四年，即治平三年（1066），仁嶽和尚提議把廟裏的西廂房騰出來供奉包拯。廬州太守張環曾受包拯賞識，對仁嶽的提議表示讚同，他還在包拯的塑像上題了頌詞：“龍圖包公，平生若何？肺肝冰雪，胸次山河。報國盡忠，臨政無阿。杲杲清名，萬古不磨。”這是第一個紀念包拯的場所。後來在包拯到過的地方，如開封、池州、天長等地，也陸續建起了包公祠。
包公祠在端州建得較早，也建得最多。嘉祐七年（1062）五月，包拯去世的消息傳來，端州人就以各種形式來悼念他。寶光寺（相傳為包拯築西江堤時所建，遺址在今景福圍渡頭防汛站附近，供奉玉皇大帝）、西石頭庵（星岩書院）、崧台驛、大井頭（包拯所開七井之一）等與包拯當年有關係的地方，都有鄉民在包拯的誕辰、忌日自發祭祀。熙寧二年（1069），包拯去世後七年，端州知州蔣績（一作續）仰慕包拯為人，既有感於包公善政，也應端州人的要求，在端州衙署附近興建了“龍圖公祠”。明萬曆《肇慶府誌》載：包公祠“舊在府治儀門之左，宋熙寧中郡守蔣績建”。這是端州興建的第一座包公祠。南宋著名愛國詩人黃公度被奸臣秦檜貶為肇慶府通判時，曾拜謁包公祠並賦詩雲：
華堂傳繪事，昭代得儀型。跡與莓苔古，名爭蘭芷馨。清風無遠近，喬木未凋零。今日斫坭手，依然瘦鶴形。
據清康熙《肇慶府誌》記載，當時的包公祠在肇慶府治儀門左，即端州州衙的東側，臨近包拯原來辦公的地方。因為包公祠在府衙之內，四方百姓瞻仰祭祀不方便，“祠阻郡署內，凡東西任來瞻謁者，弗之便也”。到了明代弘治十七年（1504），兩廣總督都憲潘蕃、僉憲許垣委托肇慶知府黃顒，按照明成化元年（1465）肇慶知府黃瑜奏請朝廷的計劃，於弘治十八年（1505）正月初六日，“於郡署外之西百步許，相地而改祠焉”，新祠在肇慶府衙西邊一裏處遷建，同年四月初一便建成。包公祠遷建之後，又在州署前留下了一座“包孝肅公”牌坊，以為紀念。這是遷建的第二座包公祠。
遷建後的包公祠坐北向南，兼富嶺南祠堂與神廟的特點，有高大的正門、朝廳、屏風，清代曾多次修繕。到1924年興建城中路時，由於附近部分民房、巷道拆遷，包公祠正門的朝廳、屏風也隨之被拆除。而馬路北側處新建了一個大門，門頂橫額灰塑楷書“宋孝肅包公祠”六個大字，大門兩側以圍牆相連，並在東西圍牆轉角處各建了一間小殿，供奉護祠神像。進入大門後，建築物按中軸線布局，近西進入牌坊，是寬敞的庭院空地，種植雞蛋花、龍眼、黃皮等花果樹木。當中一條青石鋪砌的行人通道將牌坊與方形拜亭連接，然後進入大殿。
包公祠大殿磚木結構，單簷歇山頂，麵寬三開間，八柱，三進深。殿內懸掛木匾“清風還在”，有楹聯：“生為柱國，死作閻羅，宋代直臣第一；堂溯枕書，洲留擲硯，端州循吏無雙。”“燮理陰陽，獨擅玉衡金鑒；尊崇道德，惟能鐵麵丹心。”“百代仰儀型，風貌清嚴，自昔台階昭重望；千秋留遺澤，冰心皎潔，還從硯渚溯遺征。”“遺像至今留鐵麵，當年報國見丹心。”這雖是文人墨客所撰寫，但內中也總結了端州百姓對包拯治端三年的評價。大殿正間神龕內供奉包拯全身坐像，因為包拯剛正不阿，鐵麵無私，所以塑像臉麵黧黑，五髯長須，頭戴吏冠，身穿官袍，腰纏玉帶，手持朝笏，足穿朝靴，神態端莊。拜席兩邊供奉張龍、趙虎、王朝、馬漢全身立像。可見，當時有關包公的雜劇、小說、評話、故事等文學藝術在全國風行，包拯的形象便按照文學作品變成了黑臉。雜劇、小說虛構的人物如王朝、馬漢、張龍、趙虎也進入了祠堂。明代著名書法家、理學家陳獻章用茅龍筆書刻有包拯《書端州郡齋壁》的詩碑，此碑不知現藏何處。
到了“文化大革命”時期，這座近六百年曆史、為祖祖輩輩肇慶人所景仰拜祀的包公祠，一夜之間被砸毀，後原址建起了一所小學。
1998年，肇慶市人民政府在城西廠排街大菜園村重建包公祠，於2000年3月20日（農曆二月十五日）包公誕辰這一天竣工開放。重建的包公祠主建築群占地11500平方米，主體建築包括牌坊、山門、主殿、配殿及亭、台、樓、閣、廊、井等仿宋建築，古樸大方，蔚為壯觀，麵積比之舊包公祠大了幾倍。新包公祠除了將舊包公祠的楹聯、匾額重新刻製之外，山門兩側還增加了啟功撰書的楹聯：“正直遺型留稗史，清忠初績著端州。”包青天的美稱始傳於知州任上，端州是包拯的成名之地已經成為共識。這是遷建的第三座包公祠，遺憾的是沒有在原址上重建。