餘縣是個典型的南方小縣，不過三十五萬人口。因為離省城太近，還不到五十公裏，處於省城的邊緣地帶，就被許多人輕視。有本事的人都往省城跑，留下的也就沒幾個人才。
餘縣的縣城很小。幾千年的發展，到解放後還隻有橫豎兩條大道，把縣城分為西街、東街和南街、北街，再加上裏麵的彎彎曲曲的小胡同，這就形成了縣城的幾個區塊。麻雀雖小，五髒俱全。縣城的東街和北街形成行政中心，是原來縣衙、現在人民政府所在地。南街兩旁是百貨公司和供銷社、糧站等，還有一個大戲院。儼然是經濟中心。
南街與西街那一片，是菜市場、畜牧市場和電影院，還有一個人民醫院。西街和北街夾著的，則是縣城的文教中心，那裏有從小學到初中再到高中的全部學堂。經常是這邊在上課，那邊在討價還價，學生的朗朗讀書聲和牛羊豬的嚎叫聲此起彼伏，相安無事。餘縣的學生是有名的好學，成才率居全省前列。不過大部分考出去了就不回來了，因為太窮。
一條護城河流過整座縣城，然後流到縣城不遠的南溪上，這裏是縣城主要的水源地，也是餘縣人天然的浴場。一大清早，到南溪挑水的男人先出現。等一天的吃水挑夠了。女人們就出場了，她們大多捧著一家子的換洗衣服三三兩兩蹲在埠頭上邊洗邊聊天。夏天的傍晚，男男女女、老老少少則都出現在溪邊，男女有天然的分界線，男的在上遊下水、換衣服，女的在下遊下水、回家換衣服。
餘縣是個貧瘠的小縣，當地人有“六分山兩分水兩分田”的說法。在農業為主的時代，餘縣人種的糧食根本不夠吃，於是大家紛紛想辦法過活。有能耐的往省城跑，沒能耐的往山上跑。
餘縣的山裏可有不少好寶貝，除了一般的山珍野味，餘縣還是中草藥的天然寶庫。天麻、車前草、飛天蜈蚣、丁桂、三七、白前、半夏、茯苓等等，應有盡有。這與餘縣的氣候和地形有關。它是典型的亞熱帶季風性濕潤氣候，丘陵地帶山坡眾多，常年籠罩在茫茫霧海中。連這裏的木材都比同緯度的其他地方生長速度快，別的地方木材如果成材需要十年的話，這裏時間起碼縮短三年，且木質細膩，柔韌度極佳，是做家具的上好材料。倒是成了國家出口創彙的一大名牌。
餘縣原來有城門，街的盡頭就是。原先抗日那會兒毀了一個，城門被炸了，還炸出個湖來，隔開了城市和農村；後來修鐵路了，火車站離縣城三裏，北麵的城牆磚先是被人一塊塊搬去修路邊的民房，後來城市和農村就連成一片了。“破四舊”那會，紅衛兵攻占縣城，硬生生搗毀了東麵的城門，和古縣衙一起毀了。於是，在改革之初到餘縣的人，隻見到了那個唯一的南大門！