Hartog Swaab was een zoon van Joseph Swaab en Jetje Berkhof. Hij trouwde op 20 September 1916 in Amsterdam met Grietje Blitz, een dochter van Philip Blitz en Chrisje Carels.
Zijn broers en zusters, die eveneens tijdens de Holocaust zijn omgekomen waren Benedictus, Mozes, Sientje, Anna, Aaron, Samuel…
Van dit gezin is ook een JOKOS-dossier (nummer 11428) aanwezig op het Gemeentearchief van Amsterdam. Voor inzage is toestemming nodig van de stichting Joods Maatschappelijk Werk.