由於此前明太祖朱元璋曾提醒過大將軍徐達要提防張思道、張良臣兄弟使詐，所以當張良臣遣使請降時，徐達表麵上坦然接受了他的投降，內心卻並沒有放鬆對張良臣的戒備。為此，當張良臣的使者返回慶陽複命時，徐達特意派遣右丞薛顯率騎兵五千、步卒六千隨同前往慶陽，這樣做，正是為了盡快接手慶陽防務，以免張良臣出爾反爾。
果然不出徐達所料，張良臣投降實為情勢所逼，並非出自真心。所以當他得知徐達派遣一萬多名官兵前來慶陽的消息後，立刻疑心大起。五月十五日，薛顯等抵達慶陽。張良臣親自率眾出城，匍匐道旁相迎，並且進獻牛肉、美酒，裝出一副卑躬屈膝、誠心歸順的樣子，以此欺騙薛顯，使他們放鬆警惕。當天晚上，張良臣就發動叛亂，出兵襲擊薛顯軍營。薛顯等毫無防備，在叛軍的猛烈衝擊下很快便潰不成軍，指揮張煥被叛軍俘虜，薛顯負傷逃回徐達軍中，所率一萬多名官兵損失殆盡。
雖然慶陽之叛有些突然，但徐達聞訊後，並沒有驚慌。他一麵安撫薛顯，一麵召集諸將商量對策，並胸有成竹地對諸將說：“張良臣的叛亂隻能是自取滅亡，我將與諸公共誅之！”不久，右副將軍馮宗異、參政傅友德得知慶陽張良臣叛亂的消息，自臨洮率軍前來助戰。禦史大夫湯和也率部來與徐達會師。六月十七日，徐達兵駐鎮原，命令右副將軍馮宗異、禦史大夫湯和、都督副使顧時、參政傅友德等率兵四麵進圍慶陽城。而張良臣並沒有把平叛大軍放在眼裏，公然打開慶陽城西門外出取水，而且故意放縱人馬在城下馳騁，藐視徐達大軍。徐達大怒，令馮宗異率部繼續推進，進逼慶陽城西門紮營。十八日，張良臣派兵從東門出城進攻圍城官軍，都督副使顧時率兵迎戰，將其擊敗。十九日，徐達親自督軍攻打慶陽四門，城上箭如雨下，攻城失利。二十日，張良臣親自帶兵出西門挑釁，被右副將軍馮宗異擊敗退回城中。六月二十八日，時值盛夏的慶陽突然風雨大作，洪水泛濫成災。當地百姓曆經戰亂，又逢天災，苦不堪言。但這對被圍在慶陽城中、水源嚴重不足的叛軍來講，卻是取水、儲水的良機。所以張良臣乘此機會派遣大批叛軍出城搶水。徐達部下官兵奉命阻擊，雙方激戰至半夜，叛軍大敗，狼狽逃入城中。在此之前，由於慶陽城被圍日久，城中糧餉及用水等供應都日益緊張，張良臣的屢次出戰又均以失敗告終，而等來外援的希望又微乎其微，所以張良臣部下的軍心開始動搖，暗中出城投降者也越來越多。
為了挽回敗局，穩定軍心，張良臣在七月初四又趁慶陽刮大風之機，發兵進攻圍城官兵，結果還是被徐達所率將士打得落花流水。初五，內外交困、恐懼萬分的張良臣被迫登上慶陽城頭，向城下大呼請降。但是，徐達因張良臣為人狡詐，認為這次請降也未必是出自真心，再加上憤恨他反複無常、屠殺了大批西征將士，決心要將他正法，所以斷然拒絕了張良臣的投降請求。在此種情況下，原來與張良臣共守慶陽的守將感覺生存的希望越來越渺茫，於是萌生了投降徐達的念頭。八月二十一日，慶陽平章姚暉等偷偷打開城門，迎接徐達所部西征將士。徐達率兵自北門入城，占領慶陽城。慶陽陷落後，張良臣與其父企圖一起投井自殺，徐達命令士兵將他們從井中拉了出來，一並處以死刑。至此，慶陽之亂被平定。
洪武二年九月，大將軍徐達與禦史大夫湯和一道自平涼起程回京，結束了他長達兩年多的北伐和西征之行。右副將軍馮宗異奉旨總掌西北地區軍務。