黃金榮，清朝同治九年，出生於蘇州。四歲這年，黃金榮在村口的小河邊遊了一下午泳，回家之後莫名的就發起燒了，父母本來以為就是遊泳著了涼，也沒當回事兒。結果第二天這個四歲的娃子竟然昏迷不醒，這可是家裏的獨苗啊，一家老小都慌了神，黃炳泉背著兒子跑了二十多裏地跑到鄰村找當地最好的郎中看病。郎中隻看了一眼，張口說道“天花……快快，快把他抱走，別傳染我這兒的人……”這一句話可把黃炳泉七魄三魂嚇走了一半，撲通一聲就跪倒在地“大夫！大夫啊！求求你啊，求求你救救我這兒子吧……我給你當牛做馬，求你救救他吧……”
“不是我不想救啊，這天花……這這這……我也救不了啊……”
“大夫……你是救苦救難的活菩薩啊，求你了大夫！我把家底都給你……”
………………
一來二去就這麼一哭一求一叩首的的攪合了半晌，這大夫也是個善心人，抹了抹頭上的汗“我……我試試吧……”一個時辰之後，黃炳泉背著兒子走出了大夫家，心裏回蕩的全是那句“全看他自己是不是命大啦……我已經盡力了”。
也是上天可憐窮苦的人，一個禮拜之後，黃金榮竟然奇跡的退燒了，兩個禮拜之後就能下常走動，不久之後就痊愈了。不過這場天花卻給他留了個終生標記——麻皮。從此之後“麻皮金榮”就成了他的綽號，跟了他一輩子。
六歲那年，他跟著父母來到上海。住在南市張家弄。而他就在附近的私塾念書。凡是頭男靈活的人可能都不太喜歡上私塾讀死書，這小鬼也是一樣，從小就討厭讀書。學好難，學壞倒是容易。黃金榮的爸爸年輕時是一個捕快，而他家主的這張家弄，正好也是當時的“捕快聚居地”。黃金榮平常不用功讀書，不過卻學會了不少捕快的玩意兒，也結交了一圈附近的捕快和癟三…~
1881年，黃金榮十三歲，黃炳泉過世。這個本來就不富裕的家庭變得更加拮據，吃法沒都成了問題。無奈，年僅十三歲的黃金榮去了附近的孟薑祠堂當了一名小打雜，每天起早貪黑累得直不起腰，像個廟裏幹雜活的小和尚，所以就有人直接用小和尚這個稱號來稱呼他。
三年之後，黃金榮到姐夫開的裱褙店學徒，每月拿歸錢40個銅板，過了兩年學徒出師，當了個司務。工錢依舊不多，日子依然清苦。
真正的轉機發生在1890年，法租界公開招聘華人巡捕，以加強租界治安。黃金榮抱著碰運氣的想法報了名，沒想到因為自己長得身高馬大的竟然被錄取了。他從小受捕快之風的“耳濡目染”，這工作幹起來是得心應手，跟著法捕收地租，收規費，清商販，還利用自己結交的癟三門的勢力打壓不服管製的商販，很得上司歡心。後來法租界從這些人之中挑選了黃等20個人作三等華捕，又升為便衣警察。當時的人把他們稱作“20股黨”。