根據史料的推斷，山濤跟魏明帝曹叡是同齡人，也就是說山濤35歲的時候，曹叡也是35歲，在這一年，山濤的表姑夫司馬懿被曹叡欽定為顧命大臣，與曹爽一起共同輔助齊王曹芳。大家不妨想想，司馬懿乃顧命大臣，給山濤一個官做得權利應該有吧！或者說，山濤去跟司馬懿講一下，說能不能照顧一下自己，那做官一事不是輕而易舉嗎？再或者說，司馬為了自己的利益，肯定要招攬人才，像山濤這樣聲望於鄉裏的人物，豈不也位列其中？然而，事情的真相是，山濤在35歲的時候，他沒有做官。唯一的解釋就是，山濤看出了這其中隱藏的利害關係，即這涉及到站隊的問題，司馬懿和曹爽都是顧命大臣，他們之間本身就有著不可調和的爭鬥問題，這個時候，無論你站在哪一方，在聰明的人看來，最好兩方都不要站，否則，後患無窮啊！因此，山濤在35歲的時候放棄了做官的機會，原因就是，他無法抉擇站在哪一方，最好的解決辦法就是退而求次——隱居，然而等待更加成熟的時機。我們知道，在古代，你越是隱居，名氣就越大。這當然，也為山濤40歲出來做官埋下了伏筆。
那麼，什麼時候才說得上時機成熟了呢？聰明的山濤瞅準了時機，在正始五年，即公元244的時候，司馬懿在與曹爽的爭鬥過程中，處於絕對的劣勢。這時候，山濤認為，時機已經成熟了，可以出山了。於是，山濤從他的家鄉河內郡開始做官。對此，我做一個簡單的順序排列。首先，山濤為河內郡主薄。其次，山濤為河內郡功曹。再次，山濤為河內郡上計掾。這三個官的職位都不算高。但是，這卻成為了山濤的政治積累。沒過多久，山濤就因為“舉孝廉”而成為部河南從事。這是一個什麼官呢？大致相當於朝廷任命到河南郡的特派員，是一個很有實權的職位。從河內郡主薄到部河南從事，山濤僅用了三年的時間。在這裏，我做一點補充說明，部河南從事中的“部”實際上就是指司隸校尉部，而當時擔任司隸校尉與河南尹的兩個人為畢軌和李勝。換句話說，畢軌和李勝就是山濤的頂頭上司。按理說，這沒有什麼好奇怪的。然而，畢軌和李勝卻是曹爽的人。之所以做這個補充說明，是因為這關係到山濤的個人安危。為什麼這樣說，不管你山濤出於何種考慮，你認為時機成熟了，可以出山了，或者說你高風亮節，不願意靠著你表姑父司馬懿的關係做官。有一個事實，山濤是無法改變的，這就是從你山濤做部河南從事開始，你就站了隊，站在了曹爽集團這一邊。雖然，這並非你山濤所願。但是，司馬懿會怎麼想？他會好心的認為，你山濤沒有站錯隊？隻是為了天下蒼生而出山？司馬懿是何等人，他城府和謀略深不可測，指不準哪一天又翻身了。你看，讀到這裏，大家可能已經快明白山濤為什麼要半夜辭官了。
是的，山濤已經覺察到自己就快要性命不保了。因為，在這一年的四月，發生了一件大事。這件事要是判斷失誤，那真的是要掉腦袋呀！你說，山濤能不著急嗎？能不連官符印信都不要了，趁著夜色消失得無影無蹤嗎？
我們不禁要問，到底是什麼事讓山濤覺察到殺機四伏？原來，在正始八年的四月，即公元247年，司馬懿的原配夫人，山濤的表姑張春華死了。張春華這個人，很不簡單，她可是影響魏晉曆史的重要人物之一。張春華生了兩個兒子一個女兒。其中，長子司馬師和次子司馬昭都是左右當時政局的關鍵人物。張春華嫁給司馬懿的那一年，大致時間為建安十二年，即公元207年。這一年，正好是司馬懿裝病在家的第六個年頭。而在此期間，張春華做了一件讓很多人都感到顫栗的事情——殺人。
在《晉書·宣穆張皇後傳》中，有這樣一段記載，“宣帝初辭魏武之命，托以風痹，嚐暴書，遇暴雨，不覺自起收之。家唯有一婢見之，後乃恐事泄致禍，遂手殺之以滅口，而親自執爨。帝由是重之”。（《晉書·宣穆張皇後傳》）
大意是說，在司馬懿裝病的期間，這一天，司馬懿可能是心血來潮，就想著讓家人把自己所收藏的書籍拿出去曬一曬。沒想到的是，天突降暴雨，司馬懿擔心外麵的書籍被淋壞。於是，也就沒有考慮那麼多，竟然跑出去收書，碰巧被家裏所養的一個奴婢給看見了。這可壞事了，司馬懿不是說自己重病在床，不能能隨意走動麼？如今怎麼變得“活蹦亂跳”的？司馬懿的妻子張春華見此情形，心中一凜。然後，就表現出很多女人都不具備的不尋常的一麵，把這個婢女給殺了，避免婢女把司馬懿裝病一事說出去。婢女一死，燒火做飯，洗衣刷碗之事便沒人做了，張春華就自己動手做婢女的事。值得一提的是，此時的張春華僅十八九歲的樣子，她居然能在危機關頭手起刀落，如快到斬亂麻，實在是讓人不寒而栗。由於張春華的果斷出手，使得司馬懿躲過一劫。