從戰後到1888年，詹天佑幾經周折，轉入中國鐵路公司，擔任工程師，這是他獻身中國鐵路事業的開始。剛上任不久，詹天佑就遇到了一次考驗。當時從天津到山海關的津榆鐵路修到灤河，要造一座橫跨灤河的鐵路橋。灤河河床泥沙很深，而且水漲急流。鐵橋開始由號稱世界第一流的英國工程師擔任設計，但失敗了；後來請日本工程師實行包工，也不頂用；最後讓德國工程師出馬，不久也敗下陣來。詹天佑要求由中國人自己來搞，負責工程的英國人在走投無路的情況下，隻得同意讓詹天佑來試試。
修築鐵路
1905年8月，京張鐵路正式開工，緊張的勘探、選線工作開始了。詹天佑親自帶學生和工人，背著標杆、經緯儀，日夜奔波在崎嶇的山嶺上。一天傍晚，猛烈的西北風卷著沙石在八達嶺一帶呼嘯怒吼，刮得人睜不開眼睛。測量隊急著結束工作，填了個測得的數字，就從岩壁上爬了下來。詹天佑接過本子，一邊翻看填寫的數字，一邊疑惑地問：“數據準確嗎？”“差不多。”測量隊員回答說。詹天佑嚴肅地說：“技術的第一個要求就是精密，不能有一點模糊和輕率，‘大概’、‘差不多’這類說法不能出自工程人員之口。”接著，他背起儀器，冒著風沙，重新吃力地攀到岩壁上，認真地又重新勘測了一遍，修正了一個誤差。當他下來時，嘴唇已凍青了。
不久，勘探和施工進入最困難的階段。在八達嶺、青龍橋一帶，山巒重疊，陡壁懸岩，要開四條隧道，其中最長的達一千多米。詹天佑經過精確測量計算，決定采取分段施工法：從山的南北兩端同時對鑿，並在山的中段開一口大井，在井中再向南北兩端對鑿。這樣既保證了施工質量，又加快了工程進度。鑿洞時，大量的石塊全靠人工一鍬鍬地挖，湧出的泉水要一擔擔地挑出來。身為總工程師的詹天佑毫無架子，與工人同挖石，同挑水，一身汙泥一臉汗。他還鼓舞大家說：“京張鐵路是我們用自己的人、自己的錢修建的第一條鐵路，全世界的眼睛都在望著我們，必須成功！”“無論成功或失敗，決不是我們自己的成功和失敗，而是我們國家的成功和失敗！”
為了克服陡坡行車的困難，保證火車安全爬上八達嶺，詹天佑獨具匠心，創造性地運用“折返線”原理。在山多坡陡的青龍橋地段設計了一段人字形線路，從而減少了隧道的開挖，降低了坡度。列車開到這裏，配合兩台大馬力機車，一拉一推，保證列車安全上坡。
詹天佑對全線工程曾提出“花錢少、質量好、完工快”三項要求。京張鐵路經過工人們幾處奮鬥，終於在1909年9月全線通車。原計劃六年完成，結果隻用了四年就提前完工，工程費用隻及外國人估價的五分之一。一些歐美工程師乘車參觀後嘖嘖稱道，讚譽詹天佑了不起。但詹天佑卻謙虛地說：“這是京張鐵路一萬多員工的力量，不是我個人的功勞，光榮是應該屬於大家的。”
京張鐵路建成後，詹天佑又繼任了粵漢鐵路督辦兼總工程師。這時，美國決定授予他工科博士學位，要他親自去美國參加授銜儀式。為了全力參加祖國鐵路建設，他放棄了這一榮譽。
辛亥革命後，詹天佑為了振興鐵路事業，和同行一起成立“中華工程師學會”，並被推為會長。這期間，他對青年工程技術人員的培養傾注了大量心血。他除了以自己的行為作出榜樣外，還勉勵青年“精研學術，以資發明”，要求他們“勿屈己徇人，勿沽名而釣譽。以誠接物，毋挾褊私，圭璧束身，以為範例”。
詹天佑從事鐵路事業30多年，幾乎和當時我國的每一條鐵路都有不同程度的關係。到晚年，因積勞成疾，不幸於1919年病逝。周恩來同誌曾高度評價詹天佑的功績，說他是“中國人的光榮”。
詹天佑修建京張鐵路期間，厘定了各種鐵路工程標準，並上書政府要求全國采用。中國現在仍然使用的4尺8寸半標準軌、珍氏自動掛鉤（亦稱薑坭車鉤、鄭氏車鉤，美國人所創）等等都是出自詹天佑的提議。此外詹天佑亦重視鐵路人才的培訓，製定了工程師升轉章程，對工程人員的考核和要求作出明文規定，並且定明工程師薪酬與考核成績掛鉤。京張鐵路堷訓了不少中國的工程人員，詹天佑所製定的考核章程亦成為中國其它鐵路的模仿對象。