事情就是在不經意之間發生的，由於鋒芒畢露，王陽明自然成為那些忌妒之人的眼中釘。原本王陽明從廬陵縣的一個小知縣一躍成為吏部文選司員外郎，就讓當時很多朝廷的官員忌妒，再加上王陽明因講學而至的名聲，朝中有些官員再也坐不住了。他們通過當時還隻是小太監的張忠向皇帝進言，說王陽明在京城的風頭蓋過了皇上，好勝的正德皇帝自然發了怒，王陽明仕途上的晉升之路也不得不在此告一段落。在兵部尚書王瓊的力保下，王陽明此次雖然沒有被貶，而且還由從四品升為了正四品，但被任命到了南京，做了個太仆寺少卿的無權閑官。
5.太極之道，為官者的必修課
太極與道家有著密不可分的關係，其思想性更有著高度的統一。事實上，王陽明很早便和許多道教人士有著往來，加上自身所患的疾病，他對道家的思想包括武學都有著自己深刻而獨到的見解。至於他是否修煉過道家的太極功夫，曆史上並沒有詳細的記載。但王陽明在他一生為官的過程中，卻時時閃現出了揮灑太極的優美動作。在很多時候，王陽明在官場上的太極功夫簡直可以說是達到了爐火純青的地步。
王陽明在官場上的太極之道，其實和他所學的兵法有著很深的淵源，往往在緊要關頭，王陽明都會做出一些表麵上看似十分不合常理，卻又恰恰是最為有效的做法。換句話說，就是在常人看來最不可能發力的時候，王陽明卻發力了。這既符合了兵法上所說的“詭道”，又暗合了太極之陰陽兩儀的自然轉換之理，可以說是達到了以柔克剛的效果。尤其是王陽明作為一名大臣，竟然多次運用他純熟的太極之功和朝廷討價還價起來，而奇怪的是當朝的文武百官，卻沒有一個人能夠將其識破。
事實上，王陽明的太極之道早在他最初做官的幾年間，就已經露出端倪了。比如在孝宗弘治年間，發生了一起鬥爭激烈的政治主張之爭，一邊是以戶部尚書李東陽為首的老臣，如內閣大學士劉健、謝遷等，這些人大多是兩朝元老，做事幹練而老成，同時又有著積極的開拓和進取精神；另一幫人是以“前七子”之一的李夢陽為首的文人，這些人大多不滿朝廷的一些腐敗官員，以及李東陽等在朝中說一不二的權貴，因此主張朝廷“複古”。因為他們認為，隻有複古才能夠振作士氣，達到革新朝政的目的。這兩派“勢力”在當時鬥得異常激烈，最初，王陽明站在了李夢陽一邊，王陽明當時提出的理念更為深刻，他提倡要從思想認識上去改變，這樣才能夠達到徹底的改變。但鬥到後來，性質就有些變了，兩班人馬幾乎是到了水火不容的地步，似乎是雙方各自的主張倒成了其次，把對手打敗才是目的。王陽明見此情況，便抽身出來，因為一邊是以李夢陽為首的明朝政壇的後起之秀，一邊是於自己有恩的戶部尚書李東陽。在這種無法出牌的情況之下，王陽明隻好給皇帝寫了一份上疏，以養病為由暫時離開京城回到了紹興，同時告別了他那些誌同道合的朋友，在會稽山上搭建了一所房子，過起了修煉養生之道的生活。
而王陽明的這一次遠離朝堂，固然有著他身體上的原因，但主要原因還是那種政治旋渦壓得他根本無法呼吸，索性在眾人麵前“雲手”一揮借病回了老家，還在會稽山上耍起了太極。可以說，王陽明的這一次輕揮“雲手”的太極功夫，不僅很好地避開了那場政治爭鬥，而且因為在山中的修煉讓很多人都以為他是真的修成了神仙，消息傳到京城，他即刻被召回了刑部，沒多久便被派往山東主持鄉試去了。