Dans ses mémoires, El Materi indique qu'il ne connaît pas sa date de naissance exacte. En effet, puisque sa mère est morte en couches, on délaisse le petit Mahmoud jusqu'à ce qu'on le confie à Baya Ben Jaafar, une proche de la famille. Plus tard, il est recueilli par sa tante Fatouma et son frère aîné Ali, qui l'élève après la mort de son père. Il serait né vers la fin du mois de . Selon l'historien Mounir Charfi, il serait né le .
Issu d'une famille tunisoise d'origine gréco-turque, Mahmoud El Materi est l'enfant de Khadija Ferah, qui meurt en couches, et de Mokthar El Materi, chaouachi et imam à la mosquée El Ksar (hanéfite), qui décède dix mois plus tard. Son grand-père Ahmed était un enseignant hanéfite à l'Université Zitouna. Il fréquente le kouttab à partir de l'âge de six ans puis entre à l’école franco-arabe à l’âge de huit ans. Il y obtient son certificat d'études primaires puis son brevet d'arabe. Il poursuit sa scolarité au Collège Sadiki et obtient son diplôme de fin d'études en 1916 puis son baccalauréat avec mention honorable le . C'est à Sadiki qu’il rencontre pour la première fois Habib Bourguiba, plus jeune que lui de quelques années.
Le baccalauréat en poche, il s'inscrit à la fois à la faculté des sciences et à l'école de médecine de Dijon. Ne disposant pas de bourse, ni d'aide familiale, il trouve un emploi comme surveillant d'un lycée puis dans une école de commerce.
Après avoir obtenu sa licence en sciences, il s'inscrit en quatrième année de médecine à Paris où il obtient son doctorat en médecine avec mention très honorable le . Il est le troisième médecin tunisien musulman à être diplômé de la faculté de médecine de Paris et le onzième médecin formé dans une faculté européenne1.
Durant son séjour à Dijon, Mahmoud El Materi écrit des articles politiques dans plusieurs journaux dont Le Populaire. À Paris, il est d'abord membre du Parti communiste français, qu'il quitte rapidement pour le Parti socialiste français, et milite pour la Ligue des droits de l'homme et l'Étoile nord-africaine dont il est un membre fondateur. Il collabore alors à plusieurs journaux dont Le Progrès de la Côte-d'Or, Le Rappel socialiste et Le Populaire de Paris. En 1924, il est retrouvé par un vieil ami du Collège Sadiki, Bourguiba ; ils entament ensemble une carrière militante au sein des associations étudiantes réunissant des Tunisiens à Paris.
À l'âge de 28 ans, au début du mois de novembre 1926, il rentre définitivement en Tunisie.
Mahmoud El Materi se marie en 1931 avec Kmar Ben Cheikh Ahmed. Ils ont sept enfants : Cherif, Leila, Faika, Amel, Aziz, Anissa et Samira.