將朝中事務安排妥當之後，帝堯就帶著契和羿兩位愛將前往姑射山，拜訪四賢去了。
他們一路長途跋涉，半個月後終於來到了姑射山。堯的運氣很不錯。他首先選擇較近的五祚山，拜訪方回。兩人一夜長談之後，方回便答應帝堯出山輔佐於他。
堯第二個要拜訪的就是四賢中的蒲伊。蒲伊居住在蒲穀山。堯來到此地，也是很幸運，很快就找到了蒲伊。他與蒲伊談論天下大事，蒲伊可以說是對答如流。帝堯於是以師事之。可是一談到讓蒲伊出山。蒲伊卻對帝堯說道：“老朽之才也隻適合治理這一方土地，要想輔佐大帝治理天下，恐怕要誤大帝的大事。”
雖然帝堯一再苦勸，可是蒲伊始終堅持不肯出山。無奈之下，帝堯隻好選擇放棄。
帝堯第三位拜訪的乃是四賢中的善卷，善卷重義輕利，不貪富貴，是有名的賢人；堯自覺德行達智不如善卷，認識到對於賢德的人，不能自驕自傲，必須謙恭好禮，以平民對待長者、學生對待老師的禮節去拜訪他，讓善卷居於主位，堯站在下邊，麵向北施禮求教。
堯與善卷一番長談之後，感覺他是位大賢，於是想以天下讓善卷，他回答說：“我生於宇宙之中，冬穿皮衣夏穿葛布，春種秋收，有勞有逸，日出而作，日落而息，逍遙於天地之間，心滿意足，我要天下幹什麼！可悲啊！你太不了解我了。”善卷因此離開北方，到南方今江蘇宜興縣的一溶洞中隱居，
帝堯拜訪的第四位賢人是許由。許由崇尚自然無為，不貪求名利富貴，堅持自食其力，生活簡樸，無求於世。他得知帝堯要來訪他，便躲走了。恰巧齧缺碰到他，問他要到哪裏去？
他說：“為逃避帝堯”。
齧缺又問：“為什麼呢？”
許由說：“堯這個人啊，轟轟烈烈實行仁義，我怕他要被天下人恥笑，後世會有人吃人的事發生。老百姓嗎，不難籠絡他們。愛護他們，他們就和你親近；給他們利益，他們就會為你所招徠；表揚他們，他們就會勤奮。作他們厭惡的事，他們就要逃散。愛護百姓，使百姓得利是出於仁義，那真誠實行仁義的事，借仁義取利的多。這樣仁義的行為，不僅不能真正實行，而且還會成為虛偽的工具。這種想用一個人的決斷來使天下獲利的事，不過是一刀切罷了。堯隻知道賢人可以利天下，而不知賢人的害天下。隻有那不重用賢人的人，才知道這個道理。”
過了一段時間，帝堯去拜訪許由，朝拜許由於沛澤之中。堯對許由說：“太陽出來了，火把還不熄滅，在光照宇宙的太陽光下要它放光，不是多餘的嗎？大雨下過了，還去澆園，不是徒勞嗎？作為天子，我很慚愧，占著帝位很不適宜，請允許我將天下囑托於先生，天下必然太平。”許由對帝堯說：“你治理天下，已經升平日久，既然天下已經治理好了，還要讓我代替你去作一個現成的天子，我為了名嗎？名，是實的從屬物，我對那個虛名不感興趣。鷦鷯即使在深林裏築巢，也不過占上一枝就夠了；鼴鼠就是跑到黃河裏去喝水，也不過喝滿肚子就足了。你就回去吧！天子於我沒有什麼用處。廚子就是不做供品，祭祀也不會去代替烹調的。”許由於是到箕山之下，潁水之陽，耕田而食，非常快活，終身不貪求帝位。
善卷在離開山西時，會見了自己的兩位老友：許攸和薄衣。善卷首先說道：“二位老友，不如和我一起去南方吧，此地不久將會大亂。”
蒲衣答道：“我可沒有善卷兄如此清閑，我還有族人需要照顧，如何能夠離開此地。”
許由則答道：“善卷兄說此地不久將會大亂，此話不假，可你能確保南方之地就一定會太平嗎？既然不能確定南方一定太平，我們又為什麼要費這個力氣。空走這麼遠的路。”
三人一番長談之後，就此分別，從此三位老友再也沒有見過一麵。
而帝堯一行人，則離開了姑射山，朝曆山趕去尋找另一位賢人。