Su esposa, Ángela Belmar Jerez; hijos, Juan Manuel, Francisco Javier () y María Dolores Olay Belmar; hijos políticos, Begoña Suárez Álvarez y José Luis Fanjul Fernández; nietos, Nora Olay Suárez y Jimena Fanjul Olay; hermana, Josefina Olay Menéndez; hermanos políticos, José Manuel, Pepe y María Dolores; sobrinos, primos y demás familia