新的職業
1853年，賓夕法尼亞州鐵路公司西部管區主任斯考特看中了卡內基，聘他當私人電報員兼秘書，月薪35美元。這時的卡內基已經18歲了。在賓夕法尼亞鐵路公司的10餘年間，卡內基平步青雲，24歲升任該公司西部管區主任，年薪1500美元，逐步掌握了管理現代化大企業的技巧。與此同時，卡內基也抓住機會，參與投資，慢慢積累了一定的資金。1856年，斯考特勸卡內基購買10股亞當斯快運公司的股票，計600美元。當時，對積蓄僅有60美元的卡內基來說，這是個天文數字。他決心湊足這筆錢，與母親商量後，以房屋作抵押來貸款。這樣，卡內基進行了第一次投資。不久，一張亞當斯公司10美元紅利的支票送到了卡內基的手中。
此後，卡內基又將臥鋪車的發明者伍德拉夫引薦給賓夕法尼亞鐵路公司，建立了火車臥鋪車廂製造公司。卡內基買下了該公司1/38的股份。僅200美元的投資，一年之間所得紅利高達5000美元。到1863年，卡內基已經是股票投資上的行家裏手。
建立鋼鐵帝國
1865年，卡內基辭掉了鐵路公司的職務，開始幹自己的事業。他連續創辦了匹茲堡鐵軌公司、火車頭製造廠以及鐵橋製造廠，開辦了煉鐵廠，開始涉足鋼鐵企業。卡內基深知傳統鋼鐵企業的弊病，決心建立一個麵目全新的供、產、銷一體化的現代鋼鐵公司。1872年，卡內基在煉鋼事業上大幹一場的時機已經成熟。從技術上講，成本低廉的酸性轉爐煉鋼法已經發明。其次，美國的鋼鐵市場前景廣闊，供不應求。再次，就財力而言，卡內基已擁有數十萬美元的股票及財產，他決定將資金集中到鋼鐵事業中來。1873年底，卡內基與人合夥創辦了卡內基—麥坎德裏斯鋼鐵公司。公司資本共有75萬美元。卡內基投資25萬美元。在隨後的20多年間，卡內基的財富增加了幾十倍。
1881年，卡內基與弟弟湯姆一起成立了卡內基兄弟公司，其鋼鐵產量占美國的1/37。1892年，卡內基兄弟公司與另兩家公司合並，組成了卡內基鋼鐵公司。他終於攀上了事業的頂峰，成了名副其實的鋼鐵大亨。
19世紀末20世紀初，卡內基鋼鐵公司是世界上最大的鋼鐵企業。它的年產量超過了英國全國的鋼鐵產量，年收益額達4000萬美元。卡內基雖然是公司的最大股東，但他不擔任董事長、總經理之類的職務。他的成功，在很大程度上得益於他任用了一批懂技術、懂管理的人才。他曾經說過一句名言：“如果把我的廠房設備、材料全部燒毀，但隻要保住我的全班人馬，幾年以後，我仍將是一個鋼鐵大王。”