一時間，高安縣的牛鬼蛇神一齊向劉伯溫撲來，將汙泥濁水一齊向劉伯溫頭上潑。
結果是，劉伯溫的高安縣丞被免了，但並未受到“查辦”，行省大臣素知劉伯溫廉正、耿直，尤其深知他受百姓愛戴，“查辦”劉伯溫，將觸犯眾怒。為調和矛盾，緩衝局麵，就把劉伯溫征召到行省，改任為行省職官掾吏。
縣丞與行省掾史都是八品官，沒升沒降。但從縣級官到省級屬吏，表麵上卻是“升官”了。這是高安縣的反對派們所始料不及的。從這點上看，劉伯溫沒有垮台，反而取得小小的勝利。可是劉伯溫仍有一種莫可名狀的滋味，對仕途之坎坷，他開始有切身體會了。
怕驚動百姓，劉伯溫悄悄離開了高安縣。江西行省設在洪州（今南昌），劉伯溫在洪州一年多，仍舊是我行我素、秉公辦事、不講圓通，與同僚意見每每相左。劉伯溫在職官掾史仟上，再不能有所作為了。
至元六年（1340年），劉伯溫遞上辭呈。江西行省大臣雖一再慰留，耿直的劉伯溫仍以“朽鈍”為由堅決辭歸。這是劉伯溫在元朝仕途上第一次辭官。劉伯溫在江西為官5年，眼看官場日漸腐朽，他卻無能為力。他辭去了官，內心卻不無遺憾，畢竟他憑著自己的芝麻小官，已經做了自己盡力的事。
至正七年春，劉伯溫再次走向元朝的仕途，被省檄授為行省儒學副提舉並行省考試官，命即日赴杭上任。第二次為官，劉伯溫依舊是剛直不阿，不避強禦，一如既往。他了解到了一個監察禦史的幾件失職的事，明知不屬自己職責之內的事，仍不顧利害，大膽揭發。
元代除中央有禦史台外，各地設有禦史台的分設機構，叫行禦史台。當時江南諸道行禦史台權力很大，分監江浙、江西、湖廣三行盛掌監察彈劾三省行省以下大小官府一應管軍、管民、管匠等官，檢校行省諸司文卷。職官有罪，五品以上谘禦史台奏聞，六品以下並聽行台區處；為治有方者，亦聽保舉。行省有興蘋建議，須谘禦史台呈中省奏聞，不得徑自陳奏。所以行台禦史有權監察彈劾行省百官，而劉伯溫這位從七品的儒學副提舉竟敢反過來彈劾行台禦史。因此不管揭發的是否是事實，這本身就觸犯了禦史們的尊嚴。他揭發的是一個人，觸犯的卻是眾怒。耿直的劉伯溫堅不認錯，便隻有移文辭職。這是至正九年秋天的事，劉伯溫隻當了一年多的儒學副提舉，全家便從儒學提舉司官署中遷出，遷到錢塘江畔白塔山下。
劉伯溫麵對黑暗的元末官場，再次潔身自愛，辭去汙濁的元末官職。古代為官者常常在座上懸掛“明鏡高懸”的匾額，意示自己公正廉明，事實上隻有為官者本人以身作則，才能真正清明。然而在元末劉伯溫生活的那個時代，有多少為官之人做到真正清廉，問心無愧？
“常在河邊走，就是不濕鞋”，這就是清正廉潔正直有為的劉伯溫，他處在到處是貪濁之氣的元末，窮己之力而又難為，做官有什麼意思？劉伯溫超凡脫俗，耿直峻烈的性格於當時元末的官場所不容。人仕想展示自己的抱負來拯救元朝末路也許是走不通，畢竟以他一個人的能力也不能跟龐大的黑暗的元朝統治相搏鬥，這也是劉伯溫在元廷難以入仕施展政治抱負成功的根源所在，好的是他有自知之明，潔身自愛地隱去。
雖然在元朝官場劉伯溫耿直的性格難以立足，那他作為明朝第一功臣在明初做官又如何呢？劉伯溫素以耿直峻烈的性格而出名，他在明朝開國之初，生怕新朝剛立，有所閃失，對不起朱元璋的一片托付之情，執法不畏權貴，狠殺形形色色的官場蠹蟲的威風，堅斬李彬就是其中最重要的一例。
早朝，李善長率劉伯溫、宋廉及文武百官三呼萬歲。一日，大明皇帝朱元璋準備北巡，下旨諭要丞相李善長和禦史中丞劉伯溫負責朝廷內務。
劉伯溫心想，皇上北巡，相托朝中之事，本無異議。可今天的情形卻令人費解。禦史台雖與中書省各管其事，但自己並非禦史人乎，論職級低於左相李善長幾個品級，朱元璋卻旨李善長主持政務、旨自己督察百官，並要李善長多與自己商議。這似乎不大合乎朝中等級規範。且督察百官，謂指什麼？百官之首乃相國是也！難道朱元璋真對李善長不放心乎？劉伯溫想到自己兼做禦史中丞，朱元璋一再交待，要像《詩經》上說的那般，“剛亦不吐，柔亦不茹”，以顯人臣本色，按理是一種諄諄告誡。可也不能排除這位皇上在新朝剛立，從征戰到治國之後，操起了提防百官乃至親任宰相之疑心埃
是為人臣，無論如何，自己需忠心耿耿，恪盡職守，廉潔奉公，嚴明辦事，不徇私情，不避權貴，為國之安寧、政之清明盡一臂之力。至於李善長，劉伯溫覺得他有時心胸不夠開闊，城府極深，且亦發現對自己有時也不無妒意，但是作為宰相，當之無愧有勇有謀，熟悉朝政，忠於皇上，功不可沒。古人雲，為政需“分清公私，不偏不倚，王道蕩蕩”。自己應該采勸采玉者破石拔玉，選士者棄惡取善”的態度處之。既然朱元璋把重托交於兩人，自己乃需加倍負責，凡事多與之報議，以不辜負帝王之重托。
對於劉伯溫，李善長想，平心而論，他的軍事謀略、天文地史，確實算得上佼佼者，而且在為朱元璋出謀定策，奪取天下過程中立下了汗馬之功。