隋末唐初，本市為地方豪族梁師都占據，自稱梁國，潛皇帝位。貞觀二年師都被滅，唐複設銀、綏、夏三州，均屬關內道管轄。
開元十二年（公元724年）在本區東北部增設麟州（治所今神木楊城）。天寶元年（公元742年）撒州設上郡（今綏德）、銀州郡（今黨岔）、朔方郡（今白城子）、新秦郡（今、楊城）。
乾元元年（公元758年）撤郡，複設綏、夏、銀、四州。元和十五年（公元820年）宥州治所由內蒙鄂托克旗遷到今定邊境內。
後唐莊宗李存勖以府穀縣升州（今之府穀）。
五代時期州縣設有夏州（領朔方、德靜、寧朔三縣，均在今靖邊境內）、銀州（領真鄉、開光、儒林三縣，在今米脂、佳縣境內）、麟州（領新秦、連穀、銀城，在今神木境內）、府州（今府穀）、綏州（領綏德、龍泉、延福、城平、大斌五縣，在今綏德、清澗、吳堡、子洲境內）。
北宋時，榆林市屬永興軍路（初名陝西路），綏州、宥州被西夏占據，未設郡縣，熙寧三年（公元1070年）收複，元符十年（公元1096年）後，得失無常。宋高宗南渡後，又淪為金有，屬鹿延路的一部分，設綏德州、晉寧軍（佳蘆砦），大定二十二年（公元1182年）撤軍設綏德州、晉寧州（二十四年改佳州）。
元代綏德州、佳州屬延安路，綏德州領清澗、米脂二縣，佳州領神木、府穀二縣。明成化七年（公元1471年），在長城一帶設置榆林衛，孝宗弘治十八年（公元1505年）九月設立東路神木道，領佳州、府穀、神木三州縣，中路榆林道領綏德、米脂、清澗、吳堡四州縣，西路靖邊道領保安（今誌丹）、安定（今子長）、安塞三縣，包括榆林市的定、靖、橫三縣。也就是這個時候，這個榆林衛，才漸漸形成了一個小城市。
隻是，這裏的風沙太大。風沙的南侵，逼的榆林三次遷城。
到了清朝，康熙大帝出征新疆準格爾，曾經路過這裏，特別喜歡榆林的桃花水豆腐！點名作為皇家貢品。
而大清朝庭裏的許多滿清犯官，包括哪些皇家的兒孫們，獲罪被流放到了這裏。那些人來到這裏，放不下架子，使得這裏變成了一座帶著皇家某些氣味的城市；好些食物，好些用品，好些習慣，包括哪些小調歌聲曲調，都抹上了大清都城——北京的某些特色！包括這裏的生活習慣，跟龍泉根本就不同。榆林城裏沒有窯洞，都是四合院，磚房房。
清雍正年間，設有榆林府和綏德直隸州兩個省轄行政區。