日本武士的雛形是在日本平安時代律令體製下產生的武官，最初是日本桓武天皇為了鞏固政權而設立的。
在平安時代以前，除了奴隸，所有的的壯丁都有責任和義務成為被天皇募兵的對象。然而這些士兵必須自己補給和養活自己，很多人因此不能回到自己的家鄉，而是選擇在當地定居。人們可以通過交重稅來免除兵役，這種主要由農民組成的士兵在日本統稱為防人。類似於民兵，由於防人士兵的不正規性，而且又給農民帶來了巨大的負擔，在平安時代初期又被桓武天皇所廢止。
這種形式的士兵並不是真正意義上的武士，在日本曆史上被大眾認同的武士是如同中國古代的士大夫階級，他們不但身懷武藝，而且擁有文化和治國施政的能力。
（注釋；平安時代是日本古代的一個曆史時期，日本官方稱呼也可稱做平安京時代，平安京時期或平安時期。時間段為從公元794年桓武天皇將首都從奈良移到平安京（現在的京都）開始，到1192年源賴朝建立鐮倉幕府一攬大權為止。日本律令製；是基於律令的社會製度。是古代日本的中央集權製度，其律令是仿效唐朝的法律體係編撰施行的）
平安時代早期8世紀末—9世紀初，桓武天皇想要在北本州島鞏固和擴張自己的統治範圍。天皇所派遣的針對本州北部土著應指本州東北部的蝦夷人）的討伐軍缺乏士氣和紀律，很難在戰場上取勝。於是桓武天皇開始向地方豪族求助，提出將授予征夷大將軍（武士能獲得的最高職位）的稱號給任何替代自己討伐北本州的地方勢力。麵對巨大的利益誘惑這些弓馬嫻熟的地方豪族很快成為了天皇用來剿滅反抗力量的工具。
9世紀中期開始，一些地方領主開始建立保衛自己的私人武裝，並利用其擴張勢力。這種武裝逐漸成熟為一種製度化的專業軍事組織，其基礎是宗族和主從關係。到了10世紀，日本各地發生了嚴重的叛亂和農民起義，朝廷無力鎮壓地方勢力的叛亂，不得不借助各地武士的力量，地方武士更進一步得到了中央的承認，武士的力量逐漸壯大，其社會地位亦在慢慢提高，平安時代末期武士開始成為一種獨立的階級登上曆史舞台並逐漸成為日本的特權統治階級。
12世紀末，武士首領源賴朝出任“征夷大將軍”，創立鐮倉幕府，統帥天下軍政，標誌著武士時代的來臨。爾後的軍事領袖多半襲用“征夷大將軍”之官位，實施統治。由1192年開始，日本先後三次由武士建立幕府的形式主掌國政，大部分幕府勢力握有日本實際政權，天皇政府淪為幕府的傀儡，直到1868年明治維新，江戶幕府交出政權給天皇為止，曆經約七百年日本在這一段時間內大體都是由武士階級主政，史稱武家社會時期或幕府時代。近代明治天皇宣布法令廢除武士階級，標誌著武士階級的滅亡。
日本武士理論上必須是文武雙全的人，除了要擅長劍道、馬術、射箭等武藝，也須讀書、習漢文、練書法、做文章；尤其兵法、韜略更是所須精通。品行、操守、勇氣也都是被評鑒的範圍，統籌這一切成為武士的道德被稱為武士道，它形成於江戶幕府中期在近代被日本軍國主義者改造成為給他國帶來巨大災難的恐怖武器。武士對於日本曆史以及日本民族民族文化與性格都產生了極其重大的影響，日本武士這一事物是談日本曆史而不得不談的。
提起日本武士大家會想到什麼，第一必定是切腹，確實，世界上也隻有日本的軍人在戰敗時會選擇以切膚的方式了解自己的生命並深深的以此為自己一生得到的最高榮譽，像一個武士一般死去。
事實上，日本武士把切腹看作是一場意義十分重大的儀式，但並非從武士誕生一開始就有這個儀式的，切腹的開始盛行，是在鐮倉幕府以後，武士因丟失陣地而引咎剖腹，或恥於被擒而陣前切腹，占了絕大多數，一直持續到戰國時代。
江戶幕府開幕以後，社會統治雖然相對平穩，但一些武士為主君殉死而切腹，和作為一種刑罰的“詰腹”，逐漸占了主流。雖然幕府嚴令禁止殉死，但是根本無法阻止這一曆史性的趨勢，因為同時期武士道思想已經成熟成為武士的規範，武士道規定主君身死家臣殉死，其中最具能代表的就是日本著名的四十七浪士。