本來，張靈甫在老家有個妻子，叫邢瓊英，是在父母的撮合下成親的。起初還恩愛過幾年，但他發跡之後，便嫌她土氣，不像個官太太，特別是在出入社交場合時，覺得帶不出去，就學了一回陳世美，讓邢氏當了秦香蓮。在他的部隊駐防廣元時，經人介紹，張靈甫與四川姑娘吳海蘭結了婚。吳不僅長得漂亮，而且賢惠正派，通情達理。同事們都說張靈甫娶了一位好太太。張靈甫對吳氏也很滿意，這次借著回西安養傷，與吳氏度過了幸福的一段時光。但好時光不長，張靈甫傷好後，很快就被胡宗南召回了部隊。
張靈甫不冷酷寡情，但卻醋味十足。這一點張在同事中是出了名的。在部隊駐防廣元時，張靈甫就總是對吳氏放心不下。部隊移駐陝北後，更是怕相貌出眾的吳氏紅杏出牆。回到部隊後一有機會就詢問吳氏的情況。一天，張靈甫見一位同事探親返回部隊，借機問道：“你可看見我的太太？”這位同事成心逗他，打趣地說：
“看見啦，在電影院門口，你太太穿著旗袍，身邊還有一位小夥子，西裝革履的，兩人可親熱哩。”
張靈甫當時沒說什麼，同事也以為他不會相信，閑聊幾句就走了。他的同事萬沒想到，自己的一句玩笑話會事後送了吳氏的命。張靈甫表麵上沒怎麼樣，但他是一個遇事非常認真的人，聽說妻子不貞，氣得一連幾天悶悶不樂，脾氣變得越來越粗暴，見誰罵誰，認為這是難以容忍的恥辱。但是，直接提出離婚，又怕成為同事們的笑柄。就這樣，張靈甫在萬分痛苦中過了一段日子，後來終於忍不下去了，便向胡宗南請了假，帶著一支手槍回西安。
到家後，張靈甫極力克製著自己的感情，對妻子說：“我有好長時間沒吃過餃子了，你為我包一頓餃子吧！”吳氏見丈夫想吃自己包的餃子，很高興，爽快地到後院菜地裏去割韭菜。張靈甫尾隨其後，待妻子蹲下去割韭菜時，拔出手槍，說：“你看這是什麼？”吳氏見他惡狠狠地拿槍指著自己，嚇得直發抖。還沒等她弄明白怎麼回事，張靈甫的槍就響了。吳氏一頭栽倒在地，可憐她到死也不知道自己做錯了什麼。
張槍殺妻子後，既沒聲張也沒有掩埋屍體，而是若無其事地返回了部隊。然而，事情終究會有水落石出的時候。後來，張靈甫無辜槍殺妻子的事還是傳了出去，吳海蘭娘家不是一般的百姓，雖說不上是豪門望族，但也還是有一些勢力的。得知吳海蘭被殺，哪肯善罷甘休，便向當地法院上訴，但法院不敢對國民黨軍官怎麼樣，隻是壓著狀子不辦。後來，在各界群眾的強烈呼籲下，由西安婦女協會出麵，吳海蘭娘家再次寫出狀子，經張學良夫人於鳳至轉給南京的宋美齡，強烈要求嚴懲殺害吳海蘭的凶手，為婦女界伸張正義。宋美齡拿著信找到蔣介石，蔣看信後很生氣，說：“娘希匹！不爭氣！”宋乘機要求蔣處理此事，蔣便電令胡宗南將張靈甫解往南京，監禁法辦。
胡宗南視張靈甫為心腹幹將，不忍他受到嚴厲的處罰。便代他向老蔣求請，蔣介石隻說你先把人給我送來再說。於是，胡宗南既沒綁，也沒有派人押送，任由張靈甫獨自到南京去，意思是讓他自己再想想辦法。張靈甫不在乎，一路上遊山玩水，倒也過得快活。這樣走了不到一半路程，帶的路費就花光了，囊空如洗。怎麼辦？南京還是要去的。
張靈甫不甘為乞，便效仿古人賣字為生。他自幼習字，從軍以後也一直沒有歇過筆，因而寫得一手好字。他每走一段路就從集鎮上買來宜紙寫上幾幅，走一路，賣一路。還別說，張靈甫一路賣字為生也還過得不錯。到南京後，張也想找人求情，但苦於沒有什麼熟人，便想直接求見蔣介石。蔣介石礙於宋美齡的麵子，對張靈甫拒而不見，還令人將其關進了“模範監獄”。胡宗南得知張靈甫被關，幫他在監獄裏做了點兒工作。
因此，張雖然被關進了監獄，但也沒有被當一般犯人看，仍可自由活動，每天除了吃飯、睡覺之外，還可以看看書，練練字。這樣關了一年多，也沒有進行審理判決。