Su esposa, Tita Rodríguez Fernández (); hijos, Julia Oliva y Juan Manuel González-Caballín; nietos, María y Mateo González-Caballín Oliva; hermanos, Juan (), Hipólito () y María Oliva Soto; hermanos políticos, Carmen, María (), Alfredo (); Mino () y Mari Carmen; Isabel y Toni (); sobrinos, primos y demás familia