Hartog was eerder gehuwd met Gretha Scheffer, samen hadden zij een dochter Reneé Mary. Met Roza Kinsbergen heeft hij geen kinderen.