Su esposa, Begoña Millán Echevarría; hijos, Begoña, Isabel, José y Teresa Rivaya Millán; hijos políticos, Ibrahima Ba, David Utrilla Aznar y Silvia López Rodríguez; nietos, Pepe, Marina, Covadonga, Diego y Mateo; hermanos, Joaquín Rivaya Fonseca, Mª Luisa (), Margarita (), Paloma (), Manuel () y Mª del Carmen (); hermanos políticos, primos, sobrinos y demás familia