Joseph Elsas was een zoon van Jesaia Elsas en Mietje Wijl (Weijl). Hij huwde Sarah Vogel in 1909 in Amsterdam. Zij overleed in 1932. Ze kregen zeven kinderen: Jesaia, Coenraad, Levie, Maria, Alex en Juda en waarvan Meijer (Max) Elsas de oorlog heeft overleefd.
Hij hertrouwde met Keetje Pront in 193…
Van dit gezin is ook een JOKOS-dossier (nummer 3355) aanwezig op het Gemeentearchief van Amsterdam. Voor inzage is toestemming nodig van de stichting Joods Maatschappelijk Werk.
Jesaia Elsas (29 augustus 1909), zoon van Joseph Elsas en Sara Vogel, overleefde (net als zijn broer Meier/Max) de oorlog. Hij is via Antwerpen naar New York uitgeweken begin van de oorlog. Overleden 1981 in New York.