Albert Memmi naît le 15 décembre 1920, à huit heures du matin, au no 4 de l'impasse Tronja, rue Vieille-Tronja, dans le quartier juif de la Hara à Tunis, capitale de la Tunisie, alors placée sous protectorat de la France. Il est l'aîné de huit enfants. Son père, François Memmi, est un artisan bourrelier d'origine juive italienne ; sa mère, Marguerite Sarfati, Juive sépharade d'ascendance berbère, est analphabète. Sa langue maternelle est le judéo-arabe.