Philip Bremer was een zoon van Mozes en Johanna Bremer-Bremer. Hij groeide op in Amsterdam in een orthodox-Joods gezin. Rond 1907 verhuisde het gezin naar Hilversum, omdat vader Mozes (oorspronkelijk bakker van beroep) daar een aanstelling als godsdienstonderwijzer kreeg. Het duurde echter maar kort…