悉達多太子乘馬車出城。他剛來到京城的東門，看見一個須發全白，彎腰駝背，行走艱難還不斷呻吟的老人。悉達多看到這個情景就想到：衰老是人人都逃避不了的命運啊！人在兒童時受父母寵愛，青年時英俊瀟灑，壯年時精力充沛，但是到了晚年，人就要在許多痛苦中度日了。
悉達多看到老人後心情難過，就叫車匿調轉馬車，驅車向京城南門走來。剛到南門，又見到一個滿身生瘡流血的病人。病人一邊走，一邊不斷痛苦地呻吟著。悉達多太子想到：疾病也是每個人都不能避免的。人的一生要生多少次疾病，要遭受多少痛苦，真是難以想象的啊！
接著，悉達多太子又調轉車頭來到京城的西門，看見兩個人抬著一個死人迎麵走來，隨行的親屬悲痛地嚎哭著。悉達多太子歎息地自語：死亡是可怕的，每個人又都難免一死，當死亡來臨時給每人帶來的恐懼，使人多麼難以忍受啊！自己的死亡又造成許多親朋的無限悲痛。這些痛苦，永無休止，任何人都擺脫不了。
最後，悉達多太子驅車來到了京城的北門，看見一個出家修道的人（印度當時稱出家人為“沙門”）從對麵走來。這沙門身穿袒右肩的黃色法衣，一手持法杖，一手托缽，態度嚴肅安詳。悉達多太子想道：這出家人是一定不會有俗人那麼多的痛苦和煩惱的。
南懷瑾先生指出，這一次的出行使太子又一次體會到人生的無常：誰也免不了生、老、病、死的侵奪！誰也逃不出生、老、病、死的牢籠！這種人生的無常，究竟有無主宰？究竟有無真我？倘使絕無主宰，那生命的意義基本上是沒有價值和目的的，這就等於後來佛學中稱的“斷見”，是絕對錯誤的。倘使有主宰並有真我的存在，它又是個什麼形態？如果說它是超越於人和萬物，而且能夠加以控製把握的，這也是人們自己心理的臆測或觀念的形成；何況，它既能有控製把握的主宰權力，何必又在這個世界和人生，造成如此悲慘的現象呢？這在後來佛學上，就名為“常見”。實際上，離心以外，觀察世間和超世間一切都是諸法無常，沒有永恒存在的。
悉達多太子美麗的王妃耶輸陀羅，為太子生下了一個兒子。淨飯國王十分高興，命全國舉行慶賀。但悉達多太子的內心卻感到沉重。他給自己的兒子所取的名字叫羅睺羅，這名字的意思是“覆障”，就是潛伏的一種障礙。這時的悉達多太子已經有了出家修行的念頭，他怕因為有了兒子而增加他留戀家庭的感情。
終於，在悉達多太子二十九歲（也有說十九歲）時的某一天，他鄭重地懇求父親淨飯國王允許他出家修行。淨飯王聽到兒子要出家，如同霹靂轟頂，他流著淚要求悉達多打消出家的念頭，將來好繼承他的王位。悉達多就向父王提出：如能滿足他的四個要求，他就不出家。一是沒有衰老的現象，二是沒有疾病的痛苦，三是沒有死亡的恐怖，四是所有的東西都不損不滅。
淨飯王看到兒子出家的決心已堅定，沒有能力說服兒子，隻好多派人看護悉達多太子，防止他離開皇宮。
淨飯王命令宮女時刻不離太子，演奏美妙的音樂，跳優美的舞蹈，竭盡全力討太子歡心。有一天半夜裏，悉達多太子醒來，他見到歌舞一天的宮女們都疲倦地睡在周圍，每個人都是披頭散發，脂粉殘脫，袒胸露胯。有的在說著夢話，流著口水，有的發出鼾聲，姿態醜陋，平時妖豔姿容蕩然不見了。太子不由心中一驚，感歎道：這世界上有許多事物都是虛假的啊！我要解脫掉這一切，我不可再躊躇、再猶豫了。太子現在的心情，就如同這整個宮殿燃起了熊熊大火，他必須立刻逃出去一樣。
在二月初八日（中國農曆）的午夜，悉達多太子輕輕走進妻子的房間，借著油燈微弱的燈光，看見妻子懷裏抱著剛出生的孩子，睡得正香，四周圍滿是鮮花。他非常想在離開之前第一次也是最後一次抱一下兒子，但他又怕驚醒妻子，隻得放棄這個念頭，在和妻兒默然告別後，毅然轉身離開了父親為他修建的豪華宮殿。
太子來到馬廄，喚醒了名叫車匿的馬夫，叫他牽出一匹名叫犍陟的白色駿馬，備上馬鞍，一同出城去飲甘露泉水。車匿實際已知他的本意，一時勸阻不住，隻好拚命拉住馬尾，太子也隻好不開宮門，奮勇躍馬，連帶車匿，飛越北城。在整個皇宮裏的人都在睡夢中的時刻，太子躍馬出了京城的北門，在白茫茫的月色中，朝山林奔馳而去。南懷瑾先生分析說，這一幕也正是釋迦牟尼一生發揮大雄大勇大慈悲的開始，拿它和帶甲百萬，戰無不勝，投鞭斷流，叱吒風雲的英雄們來相比較，無疑地，這躍馬出城出家修道的一舉，以視前者的胸襟氣概，自有天淵之別。