至於長樂宮的情形，與武庫和張遼當初的執金吾府靠近，他比較熟悉，而且此前還有暗影在其中打探消息，連左慈也早派過去了，是以對那裏的情況，他已經很是熟悉。
在城北五千兵馬做出動靜的掩護下，一萬兵馬分成幾路順利穿過巷，之所以如此順利，一方麵得益於涼州人白日苦戰，夜間疲憊沉睡，另一方麵卻是涼州人根本沒想到張遼會冒險帶著兵馬深入虎穴，敢來城南。
要知道，單隻城南的未央宮中就駐紮著過兩萬兵馬，張遼若真的攻打未央宮，兩萬兵馬足以據宮門而守，加上武庫駐守的兵馬策應，還有而正在開路的數萬涼州人也會折返，前後夾擊，到時候張遼縱然帶兩三萬兵馬，也隻會全軍覆沒。
所以無論是李傕還是郭汜，都沒想到張遼敢帶兵來城南。
而張遼敢冒這個險，並不是完全的利令智昏，一者他這個算是出其不意，二者他有暗影在各處打探消息，對敵人的兵力分布基本清楚，三者他曾擔任執金吾和司隸校尉，對長安城的大街巷也很熟悉。四者他們黑衣突襲，寒雨與黑夜也是最好的掩護。
張遼穿過巷抵達城南後，立時再次分兵，史阿帶著擊刹，與左慈一道先去長樂宮，張遼親自帶三千兵馬策應，他們有三個任務，刺殺守將，放火，擂鼓，驅動數萬匹戰馬衝出破敗的長樂宮，再衝出長安。
徐晃和張燕帶五千兵馬攻打長樂宮最近的霸城門、宣平門、清明門和覆盎門，放下吊橋，長安城雖然防禦堅固，但那主要是對外的，對內則很容易攻打，何況涼州人派駐守門的士兵並不多，以五千人的規模足以用最快的度攻下城門。
而典韋則帶兩千精銳猛虎士，偽作進攻未央宮重地，令涼州人產生錯覺，將兵力集中到未央宮一帶，為數萬匹戰馬的出城製造機會。
史阿和左慈的刺殺還是順利，加上擊刹士，長樂宮中的守將在沉睡中無聲死去，守兵也死了不少，有現變故的，迷迷糊糊剛驚醒過來，就被張遼帶兵斬殺。
而後，張遼立時帶兵趕去戰馬所在之處，數萬匹戰馬並不是在一起的，而是分做了好幾塊。
張遼當即命士兵分作數股，在臨時的馬廄中放火，而後猛烈擂鼓，讓戰馬驚慌起來。擊刹士中有精通奇技的，左慈也懂得一些，他們引導著驚慌的戰馬朝長樂宮幾處大門奔去，張遼則帶兵在背後以火把呐喊驅趕。
長樂宮有數座宮門，全都破敗，有的連門樓也沒有，其餘宮牆也有數處豁口，數萬戰馬要衝出去，也不過片刻的功夫。
幾乎同時，徐晃和張燕對長安城門起了攻擊，典韋則帶著猛虎士在尚冠裏一帶，同樣大聲擂鼓，並縱兵大吼，偽作要攻打未央宮。