嶽飛於夏初抵達都督府，拜見張浚。張浚雖然已經把劉光世的部隊暫時分為六個分隊，但是還沒有找到統領的人，見嶽飛前來，就詢問嶽飛。
嶽飛說：“都督您應該是胸有成竹了。”
張浚說：“王德久在淮西，淮西軍必然畏服。我想以他為都統製，以酈瓊為他的副手，再由呂祉以都督府參謀名義予以統領，您覺得怎麼樣？”
嶽飛說：“淮西一軍大多是叛亡盜賊的人，反複無常，而王德與酈瓊平日也不和睦，如今一旦使王德位居酈瓊之上，酈瓊必定不服，而發生意氣之爭。至於呂參謀，終究是一個書生，不熟悉軍隊的事情，也恐怕難以服眾。”
張浚說道：“那你說怎麼辦呢？”
嶽飛說：“恐怕需要在大將中選擇可以勝任的人。”
張浚又問：“你覺得張宣撫怎麼樣？”
張飛沉思一會兒說：“張宣撫曾是我的舊日長官。張宣撫雖然是國家老將，隻是平日為人暴躁寡謀，估計不是很合適。”
張浚已經麵露不悅之色，緩緩說道：“楊沂中是後起之秀，你應當沒有意見了吧？”
嶽飛說道：“楊沂中、王德、酈瓊等人，都屬於一時的英雄，但沒有一個人能讓他們畏服。”
張浚臉色變得很難看，冷笑著說道：“我明白了，在你看來，除了你之外，再沒有人能統率這支隊伍了。”
嶽飛很生氣地說：“都督您以軍國大事問我，嶽飛我能不如實稟告嗎？而都督您反認為我想做統帥，這實在是對我的誤解！”他立刻上奏折請求解除兵權，讓張憲暫管軍事，自己回到母親的墳墓旁守孝去了。
張浚認為嶽飛是誠心與他作對，就上疏說嶽飛處心積慮，想要合並劉光世軍隊。張浚一邊讓兵部侍郎張宗元作為湖北宣撫判官，監管嶽飛軍隊，一邊又指令王德為淮西都統製，酈瓊為副手，另派呂祉前往廬州節製。
王德等人剛一上任，酈瓊就給他難堪，呂祉既不能調和，又不能左右偏袒，隻有返回原地了。而王德與酈瓊又各自列狀互相詆毀，請求都督府主持公道。張浚沒有辦法，就將王德召回建康，讓軍隊暫隸屬於都督府。八月初，張浚讓呂祉去會合酈瓊。酈瓊等將領見呂祉又來了，就向呂祉訴說自己被張浚冷落。呂祉安慰他說道：“張丞相為人大度，如果能夠陣前立功，即使大過也不計較，何況這些小的事情呢！請放心，我會為你說話的，保你們沒事。”酈瓊等人聽他說完，也都深為感動，軍中一片和諧。
呂祉一番話安撫了酈瓊等人，卻始終認為酈瓊難以製伏，就奏請罷免酈瓊與統製官的兵權。不料此事卻被書吏泄露給了酈瓊，所以酈瓊途中截獲了奏疏，看完之後一腔怒火無處發泄，心中對呂祉咬牙切齒。恰巧此時，朝廷命令張浚為淮西宣撫使，宣撫司設在盱眙；楊沂中為淮西製置使，劉錡為副，製置司設在廬州，召酈瓊前往。酈瓊十分緊張，於是決定叛變。
第二天清晨，眾將領都來拜見呂祉，酈瓊從袖中取出呂祉的奏章，給中軍統製張璟看了，說道：“我不知道我們有什麼罪狀，而呂參謀你卻無端誣蔑，奏請朝廷，實在令人不解！”
呂祉見秘密泄露，就想回到內堂，卻被酈瓊搶上一步，如同老鷹捉小雞般握住呂祉兩手，讓人綁了。
張璟上前勸阻說道：“凡事總可商量，怎麼能綁了朝廷命官呢？”