Su esposa, Manuela Rey Martínez; hijos, Manuel Ángel, Lourdes y Fidel Castro Rey; hijo político, Ulpiano Pérez Ondina; nietos, Carlos, Ulpiano, nietos y bisnietos; nieta política, Begoña Mainar y nietas políticas; padres, Rosario Castro () y Eugenio Díaz (); hermana; Mari Ángeles Díaz Castro; hermano político, Germán Albuerne Corujedo; tíos, sobrinos, primos y demás familia