星岩書院設有專門的學舍，也建有專門給教員、學生住宿的地方，然比之“應天府書院”築學舍一百五十間、聚書一千五百餘卷的規模，可能要小許多。現有史籍雖無有關星岩書院曾得到朝廷的獎勵與資助，或得到過賜額、賜書、賜學田等待遇的記載，但就從屬於“南蠻”邊遠之地來說，辦書院本身就是一件了不起的事情，對端州的文化教育發展起了很大的作用。星岩書院不是官學，但它在教育上具有較高的層次。地方上的府、州、縣學側重於儒家主要經典的傳授，為科舉應考做準備。而書院主要是進行專題講學，多邀請著名的學者、專家掌教、授課，學術氣氛較為濃厚，為地方培養懂得經濟、懂得治理的實用型人才。
書院的名稱始於唐朝，是負責編纂、撰述圖書並儲備顧問的機構。如唐開元六年（718）設麗正修書院，八年之後改稱集賢殿書院。書院置學士，掌校刊經籍、征集遺書、辨明典章以備顧問對應，是一個培育人才的地方。包拯青年時深受翰林學士劉筠的影響，認為選拔和培養人才是關係國家盛衰的大事，而所選皆須胸存謀略、講求治道的實用型人才，這和以範仲淹為首的改革者“教以經濟之業，取以經濟之才”的主張是一致的。
隻可惜當時嶺南邊遠蠻荒，交通不便，加上端州瘴疫流行，中原人才到嶺南遊曆、流寓的不多，特別是包拯治端州的前後十年，史籍中也少有中原名士踏足端州的記錄，少有如範仲淹這樣的大家前來授課講學。星岩書院創立不久，包拯又調任上京履職，書院得不到後繼知州的重視。加之“慶曆新政”，很多有政治主張的人物，借書院作為百家爭鳴的場所，“諷議朝政，裁量人物”。“慶曆新政”失敗之後，書院因涉及政治鬥爭而受到抑製，端州星岩書院也難以幸免。到了元豐年間（1078—1085），知州王洎上任，將星岩書院改為“石頭庵”，書院因此停辦。因為當時端州城東已經有了一座“石頭庵”，為了與此區別，當地百姓就把“星岩書院”稱為“西石頭庵”。南宋淳熙年間（1174—1189），高要人黃執矩才恢複了星岩書院，一直辦到明朝初年。星岩書院不但是西江最早，也是廣南東西路（廣東、廣西）較早興辦的書院之一。它的創辦，標誌著西江地區的教育先行了一步。
包拯還建造了文昌祠，“文昌祠在城西景星坊，宋康定郡守包拯建”。“文昌”是天上的星官名，屬紫微垣，包含六顆星。月在北鬥魁星附近，其中第六顆叫司祿星，也稱為“文曲星”、“文星”。“文昌帝君”主宰人間文運科名、文章學問，是科舉士子的守護神。文昌精神是一種奉獻精神，總體可歸結為：文章學問，無不從陰德中來，不積陰德，便無以自立。因此文昌精神勸人廣行陰德，努力提高自身的道德境界，從而實現最高理想。包拯修建文昌祠，也是為了弘揚奉獻精神，對為善者鞭策，對為惡者警誡。用包拯的詩來概括，就是“清心為治本，直道是身謀。秀幹終成棟，精鋼不作鉤”。鼓勵讀書人努力學習，科場奪魁，為國家效力，為百姓謀福。包拯是進士出身，參加過殿試，因此很重視科舉取士。建文昌祠，讓學子們祀禱文昌帝君神靈保佑，是他勸學的宣傳手段，良苦用心由此可見。他希望在地處嶺南，比起中原、比起江南文化還相對落後的端州，青年人能夠養成學習的風氣，用文化知識改變家鄉的麵貌。