Après la rafle du billet vert le 14 mai 1941, Abraham Segal a été interné au camp de Beaune-la-Rolande puis déporté par le convoi 5 parti le 28 juin 1942, sa grand-mère Faigel Mildman, son oncle Jakob Jacques Mildman  ont été déportés par le convoi 11 du 27 juin 1942 ainsi que ses fils Henri et Charles Mildman déportés par le convoi 62 parti le 20 novembre 1943.

Sa femme Estera et leurs filles Rachel née en 1934 et Francine née en 1936 ont échappé de peu à la rafle du Vel d’Hiv du16 juillet 1942.  Elles ont passé une nuit dans l'atelier d'une couturière, puis une nourrice puis chez une institutrice Yvette Devauchelle et finalement grâce à Monsieur Vaur, le père de cette institutrice directeur de l'Ecole de Lussant en Charente qui les a emmenées avec lui et les a confiées à la famille Moi où elles sont restées jusqu'à la Libération.