次早韋皋收拾行裝，拜辭馬夫人，荊寶饋送下程路費，自不必言。監行之際，玉簫含淚執手道："郎君去則去矣，未審三年五年之約，可是實話？"韋皋道："留你在此，實出不得已，豈是虛語。即使有甚擔擱，更遲二年，再沒去處了。"玉簫道："既恁的說，妾當謹記七年之約了，郎君幸勿忘之。"韋皋道："神明共鑒，七年之後，若是不來，以死相報。"玉簫道："七年不至，郎君安得死，或妾當死耳。"語畢，淚如雨下，哽咽不能出聲。荊寶執酒餞行，也黯然灑淚。韋皋向書囊中尋出玉環一枚，套在玉簫左手中指上。吩咐道："這環是我幼時在東嶽廟燒香，見神座旁遺下此環，拾得還家。晚間，隨夢東嶽帝君吩咐道："這環有兩重姻眷，莫輕棄了。"我想入贅張節度，又得你為妾，豈不合著夢兆。今留與你為記，到七年後，再來相聚。"口兒裏如此說，心中也自慘然。斟過一杯，回敬荊寶作謝，再斟一杯送與玉簫。又道："你好生收藏此環，留為他年之證驗。"情不能已吟詩一首道：黃雀銜來已數春，別時留解贈佳人。
長江不見魚書至，為遣相思夢入秦。
吟罷，道聲："我去矣，休得傷懷。"玉簫道："妾身何足惜，郎君須自何重。"雙袖掩麵大慟，韋皋亦灑淚而行，荊寶又送一程方還。
且說韋皋，一路饑餐渴飲，夜宿曉行，非隻一日，回到家中，拜見雙親。父子相逢，喜從天降。問及新婦若何，丈人怎生相待，卻轉遊江夏。韋皋將丈人怠慢，不合忿氣相別的事，一一細述。父親道："雖則丈人見淺，你為婿的也不該如此輕妄。今既來家，可用心溫習，以待科試。須掙得換了頭角，方爭得這口氣。"韋皋聽了父親言語，閉戶發憤誦讀，等到黃榜動，選場開，指望一舉成名，怎知依然落第。那時不但無顏去見夫人，連故裏也自羞歸。想著薑使君在洮州，離此不遠，且到彼暫遊，再作道理，遂打書打發仆人，歸報父母，隻留一人跟隨，輕裝直至洮州。不道薑使君已升嶺南節度，去任好些時了。韋皋走了一個空，心裏煩惱，思想如今卻投誰好。偶聞隴右節度使李抱玉好賢禮士，遂取路到鳳翔幕府投見。那李抱玉果然收羅四方英彥，即便延接。談論之間，見韋皋器識宏遠，才學廣博，極口讚羨，欲留於暮府。韋皋誌在科名，初時不願。
李抱玉勸道："以足下之才，他日功名，當在老夫之上。本朝出將入相，位極人臣，如郭汾陽、李西平之輩，何嚐從科目中來。方今王室多，四方不靜，正丈夫建樹之秋，何必沾沾於章句求伸耶？"韋皋見說得有理，方才允從，遂署為記室參軍。
不久，改為隴右營田判官。從此：拋卻詩書親簿籍，撇開筆硯理兵農。