在通讀朱熹之遺書之後，王陽明終於提出了“知行合一”的思想，這不僅是王陽明心學的核心思想，同時也成為王陽明的從政寶典。在王陽明數十年為官的道路上，他始終把“知行合一”作為自己從政的指導思想。無論是在為官之初，還是在權極一時的時候，王陽明始終在不斷地學習和實踐著他的思想主張，而他的這一做法，也讓他在官場中變得如魚得水，遊刃有餘。
1.官，是可以邊學邊當的
在講學中，王陽明經常會遇到一些初習心學的弟子提出的各種各樣的問題，其中很多問題看似幼稚，實則是還沒有領悟到心學的真正內涵。所以，王陽明經常會就這些具體問題與弟子們進行探討，有時甚至會非常激烈，這對王陽明來說，早已習以為常了。
比如有一次，當王陽明講到“知行合一”的理論時，一名弟子就站起來問他：“先生，既然你強調‘知行合一’，知和行是同步一體進行的，那麼如果一個人不‘知’，他又怎麼去‘行’呢？”但凡聽到類似的話，王陽明的弟子都會發笑，因為這說明這個弟子對心學一點都不了解。可是，學友們的笑卻無法阻止這位弟子探尋知識的欲望，他很快就問王陽明：“比如，先生以前未做官時，是不知道如何做官的。那麼先生後來做了官，在不知的情況之下，又是如何去行做官之事的呢？”王陽明當時微微一笑，說出了一句讓這名弟子更加費解的話：“官嘛，是可以邊學邊當的。”
王陽明一直強調知與行的合一，可是如今竟然對自己的弟子說官是可以一邊學一邊當的。這一說法自然會讓那些對王陽明心學沒能研究透徹者費解，因為“知行合一”中的“知”是指良知和道德的意識，而“行”則是指這種意識之下的實踐。王陽明提出這一觀念，也是針對朱熹強調“先知後行”一說所做出的糾正，比如一個人見到了自己的父母，就一定要知道自己應該去孝順他們。同樣的道理，一個人做了官，隻要他心裏一直秉持著一份良知的信念，同樣可以一邊學一邊去當的。王陽明的這一認識，不但把當官中的思想和實踐高度地結合在了一起，同時也為後人提供了從政的寶典：官，可以邊學邊當。王陽明不但是這樣認為的，也一直是這樣做的。
在為官之初，王陽明曾多次把自己的所見所聞向朝廷上疏，提出了很多治國之道，盡管很多都沒有被采納，也沒有得到任何回複，但是在父親的影響下，王陽明懂得了“知”與“行”是完全不同的兩個概念。一個人知道了應當怎樣去做，卻沒有親身實踐，當這種知與行無法達到統一時應該怎麼辦？此時，一個重要的思想就出現了：因地製宜，即根據自己在官場上實踐中所遇到的不同的情況來糾正和改良方法。在行與知的實踐中，心灰意冷的王陽明開始用修墓工人來實踐自己對兵法上的認識，這期間他把很多的兵法、陣法轉換到實際的生活當中，以遊戲的方式在這些修墓工人當中實踐著自己的軍事夢想。
在這種磨難中，王陽明再次體會到了權力的重要，很快，他便找到了參照目標。他看到一位朋友得到了升遷，從禮部一個給事中被提升為了治理京畿之地的官員，而這位朋友曾經做的最多的一件事就是與那些都察院的禦史一起提出一些關於治理國家的建議。此時的王陽明看到了新的希望，朝廷重視言官，說明孝宗皇帝渴望有能臣與賢臣出來輔政。王陽明從此收起了陰陽八卦的起承轉合，以及用來做兵符的石頭子，而是坐在那片尚未竣工的墓地上構想起了他的軍事主張，從邊疆防禦到全國的兵力部署，再到國家吏治的改革，以及國家稅收製度的不完善等等，王陽明提出了一係列的治理國家的想法，並將這些想法整理成文字，然後逐一上奏給了朝廷。在這些提議中，盡管很多想法都很切合實際，但是最終還是沒有被朝廷所采納。然而與上次不同的是，當王陽明修好王墓後不久，他就被任命為刑部的雲南司主事。
雖然王陽明並沒做過這種工作，但他明白，作為刑司之事，就像他此刻心中漸漸明朗起來的“知行合一”思想一樣，隻要從良知的角度出發，就會減少一些冤假錯案的發生，不懂的地方他就去請教那些同僚。王陽明抱著“不恥下問”的態度，在這一時期積累了大量有關刑司方麵的知識，並將其中的心得一點點記錄了下來，而王陽明骨子裏追求知與行統一的思想也在這裏得到了進一步的驗證。在對一些本來早已結案的卷宗進行審查時，王陽明又從一顆良知之心出發，發現了案件中的很多疑點，然後將這些卷宗發回到相關的衙門，在他的督促和過問之下，平反了很多的冤假錯案。在這個基礎之上，王陽明又從禮與法、情與理的層麵出發，剖析了作為一名主管刑獄的官員在審理案件過程中應該著重注意的地方，這些同樣形成了相關的文字上報給了刑部尚書及朝廷。尤其是在後來王陽明被派到江蘇淮安後，在與當地官員一同去處決一些重刑犯時，王陽明又以那顆良知之心，在那些本已被刑部核準處決的犯人身上發現了很多疑點，通過對這些疑點的探究，一個個真相在王陽明四處走訪中浮現了出來。最後，有不少因地方官錯判而被劃入死亡名單的重刑犯不僅得到了平反，並且還得到了官府給予的一定數額的經濟補貼，這在當時幾乎是開了明王朝的先河。也正是在這一時期，王陽明得到了很多百姓和地方官的一致稱頌，為他日後的仕途打下了良好的基礎。