張作霖羽翼豐滿後，所思量的就是要改變這種被動局麵。為此，由楊宇霆和常蔭槐出麵，製定了東幹線和西幹線計劃。東幹線自奉天修至吉林，然後再沿已經修好的省辦鐵路至哈爾濱，可以有效連通東北三省的省會城市；西幹線從打虎山經通遼至齊齊哈爾，也可以有效溝通奉天、吉林和黑龍江三省的聯係。兩條幹線所起到的作用其實就是對日本控製的南滿鐵路進行替代。
張作霖要修建這樣的兩條鐵路，當然不會得到日本當局的同意。為了保障鐵路修建計劃得以實施，張作霖想出了很多點子。對於西幹線南部的打通鐵路，剛修建的時候是以京奉鐵路的支線名義修建的，日本人當時也沒太在意，以為不過一條支線而已，起不了啥作用。但是張作霖修著修著就把打通鐵路延長了。1926年8月，延長工程向彰武施工，這下子引起了日本高度關注，日本外務大臣幣原喜重郎訓令駐奉天總領事吉田茂，要其向張作霖詢問打通鐵路到底要修到哪兒？它的計劃是什麼？日本政府明確向張作霖表示不能允許有與南滿鐵路進行競爭的平行線。9月9日，吉田茂訪問張作霖又質問此事，張作霖說東北當局沒有修建南滿鐵路平行線的計劃，即使有計劃也沒有築路資金。12月28日，日本代理總領事要求東北當局停止彰武以北計劃，張作霖安排楊宇霆出麵說奉天省政府沒有彰武至通遼計劃。京奉路局把奉天以西換下的舊軌用於打通路的延長，是由北京政府和交通部說了算，東北當局並未參與，把修建責任推給了北京換來換去的民國政府。後來日本為阻止該線的實施還提出了外交照會，甚至采取了切斷滿鐵鐵路等措施。這時打通鐵路的延長線已經與四洮鐵路在通遼接通軌道，西幹線已經完全接通。1927年11與15日，西幹線正式營運，從此避開了日軍控製的南滿鐵路，發揮了軍事運輸和開發地方經濟的重要作用。
至於東部幹線，分為南段和北段兩部分進行。修建南段奉海鐵路的時候受到日本阻力較小，原因與上麵西部幹線一樣，也采取了瞞天過海的手法，隻說修一條官商合辦的模範鐵路，起點為奉天，終點至海龍縣城，中間經撫順和清原。日本一看這鐵路不過是通往奉天的一條小小支線，沒啥作用，對南滿鐵路也根本不會造成任何影響，所以也就同意了。奉海幹線於1925年7月開工，1927年8月即已完工。後來張作霖又故伎重施，如上文西部幹線延長打通路一樣，又開始了奉海線的延長，一直延長至朝陽鎮。按張作霖的意思，接下來還要繼續延長，一直延長到吉林省的吉林市，這條鐵路即東部幹線的北段吉海鐵路。此時日本人總算看出了張作霖的企圖，日本駐奉天總領事和駐吉林總領事分別向張作霖和張作相抗議，還利用東京報刊和東北報刊宣傳吉海路是南滿路的並行線和競爭線。但是張作霖授意楊宇霆回答說吉海路隻是奉海路的延長線，奉天省政府已經用借款洮昂路為妥協條件，換得了日本政府放棄奉海路的借款權。當時簽協議時並未規定奉海路不得延長，因此日本沒有理由再抗議。日本駐奉天總領事吉田茂非常生氣，認為奉海鐵路當然是從奉天開始至海龍結束，怎麼到了海龍還能延長到朝陽，到了朝陽還能一直延啊延的沒完沒了，最後還能延長到吉林省的吉林市，那與新修一條鐵路有何區別？但是道理是這個道理，吉田茂還是無法反駁條約裏沒有規定奉海路不得延長的這個事實，隻好拿出照會表達日本政府的極度憤怒，要求該計劃即行中止。但是張作霖在這件事情上沒有妥協，照修不誤，鐵路就在抗議和嗟商中不斷延長，至1929年6月朝陽鎮至吉林總站完工，吉海鐵路正式通車。吉海鐵路在海龍與奉海鐵路接軌，實際上已完全實現了東部幹線的目標。不過張作霖沒能看到東部幹線建設完工的那一天。一年前的6月份，惱羞成怒的日本人終於下了狠手，將張作霖炸死在離奉天不遠的皇姑屯，留下了千古遺憾。