1865年3月6日（清同治四年二月初九日）生於六安縣太平集迤北三裏祖居，祖父段佩（字韞山）早年曾與劉銘傳販過私鹽、辦過團練，鎮壓撚軍有功，官淮軍統領，領兵在外，父段從文在家務農，以租地耕種為生，母親範氏。
1869年初，段從文為避劉姓土豪報複（土豪劉楠、劉樞橫行鄉裏，段佩仗義誅殺，遂結下仇怨），舉家搬遷到壽州炎劉廟。
1870年，段佩回鄉探親，決定遷至合肥城西橋大陶崗（今肥西縣三十崗鄉陶崗村）農村定居，購置了百餘畝田地。
1872年，祖父段佩時任銘軍直屬馬隊三營統領，段祺瑞隨到江蘇宿遷兵營裏，到附近私塾讀書。
1879年4月22日（光緒五年閏三月初二日），祖父段佩（以功累保提督銜記名總兵、勵勇巴圖魯，授榮祿大夫、振威將軍）去世，段祺瑞哭護靈柩歸葬合肥城西鄉大陶崗，從此家道中落，到侯大衛村續讀了一年私塾後輟學。
1881年，段祺瑞懷揣一塊銀元徒步數十天二千餘裏，來到山東威海投奔任管帶的族叔段從德，被收留在軍營中作哨書。
1882年10月1日，父親段從文在看望他的歸途上被同行的兩人害死，段祺瑞請假奔喪未獲準，隻得致函合肥知縣，請求緝凶，不久案破，凶犯被正法。
1883年5月10日母親範氏因悲傷過度去世，拋下大妹啟英十二歲，二弟啟輔十歲，小弟啟勳九歲，段祺瑞返鄉治喪後回軍營。
1885年6月，清朝洋務派代表李鴻章創辦北洋武備學堂，9月段祺瑞以優異成績考入武備學堂第一期預備生，旋分入炮兵科。段祺瑞“攻業頗勤敏，以力學不倦見稱於當時，治學既專，每屆學校試驗，輒冠其儕輩，與王士珍等齊名於世”，受到李鴻章的器重。
1886年，段祺瑞與宿遷舉人吳懋偉之女吳氏在合肥結婚。
1887年11月，段祺瑞以“最優等”成績從天津武備學堂炮科畢業，被派往旅順督建炮台。
1888年冬，段祺瑞以第一名的成績被獲準與其它四位同學到德國留學。
1889年春到德國，以官費入柏林軍校，學習一年半炮兵，後獨自留在埃森克虜伯兵工廠實習半年。
1890年秋，段祺瑞學成回國，派任北洋軍械局委員。
1891年調到威海隨營武備學堂任教官。
1894年7月“中日甲午戰爭”爆發，段祺瑞與學生一道為陣地搬運炮彈，抗擊日軍。
1896年初，段祺瑞被調往天津小站，任新建陸軍左翼炮隊第三營統帶，旋兼行營武備學堂炮隊兵官學堂監督、代理總教習。
1898年9月9日，以北洋新建陸軍創設隨營武備學堂期滿告成，清廷給予炮隊學堂監督段祺瑞等升敘加銜。12月新建陸軍編為武衛右軍，段祺瑞仍統領炮隊，並赴日本觀操。
1899年 12月，隨工部右侍郎、山東巡撫袁世凱率武衛右軍到山東鎮壓義和團，成為袁世凱擴編北洋軍的重要幫手，編撰了許多本操練章典，是北洋三傑（北洋之龍王士珍、北洋之虎段祺瑞、北洋之豹馮國璋）之一。
1900年5月18日，段祺瑞原配吳氏在濟南病故。1901年5月31日，袁世凱將義女張佩蘅（江西巡撫、都察院左副都禦史張芾之孫女）嫁與段祺瑞為繼室。11月7日袁世凱任直隸總督，保奏段祺瑞“以知府仍留原省補用，並加三品銜”，“兼充武衛右軍各學堂總辦”。1902年5月參與鎮壓廣宗縣景廷賓起義。6月任北洋軍政司參謀處總辦，全麵主持編練新軍，7月9日升“道員留直隸補用，並加二品銜”。8月9日因鎮壓直隸廣宗、威縣反洋教團眾“勞績”，被袁世凱保奏，準賞戴花翎，加“奮勇巴圖魯”勇號。1903年12月4日清廷成立練兵處（慶親王奕匡為總理練兵大臣，袁世凱為會辦大臣，鐵良為襄辦大臣，徐世昌為總提調），段祺瑞任練兵處軍令司正使，加副都統銜。
1904年6月，“武衛右軍”改為“北洋陸軍”，段祺瑞任第三鎮統製官，轄第五協（統領雷震春）、第六協（統領張永成）、馬標（統帶張國泰）。
1905年5月北洋常備軍第四鎮成立，段祺瑞調任統製官，轄第七協（統領楊善德）、第八協（統領陳光遠）、馬協（統帶孟恩遠）。9月轉任第六鎮統製。10月清北洋軍在河間府舉行第一次秋操，段祺瑞任“北軍”總統官。
1906年2月複任第三鎮統製，駐寶鼎，兼督理北洋武備各學堂。3月17日補授福建汀州鎮總兵，仍留北洋原任。5月8日清在保定創辦“陸軍行營軍官學堂”，段祺瑞兼任學堂督辦，北洋軍官多是他的門生故吏。10月清政府在河南彰德舉行南北兩軍第二次秋操，段祺瑞再次擔任“北軍”總統官。11月20日清廷準袁世凱開去各項兼差，陸軍第三鎮等收歸陸軍部統轄。
1907年9月，清政府調袁世凱任軍機大臣兼外務部尚書，削去兵權，10月16日段祺瑞被授鑲黃旗漢軍副都統，專意督辦陸軍各學堂。