張緬開始做官為秘書郎，後出任為淮南太守，當年十八歲。梁高祖懷疑他年紀輕輕不熟悉公務，就派主書向郡府各衙門提取一批文件，發現他斷事批文確實令人滿意，十分讚賞。任滿回朝後，任命為太子舍人、雲麾外兵參軍。張緬從小勤學，嚴格要求自己讀書，手不釋卷，尤其精通東漢和晉代各家史書。有一次，客人拿著書考問張緬，張緬隨問隨答，毫無遺漏之處。