Su esposa, Julia Quiñones González (); hijo, José Antonio Silva Quiñones; hija política, Magdalena Fernández Rico; nietos, Carlos y Alberto Silva; nietas políticas, Carla y Paulina; bisnietos, David, Lara y Laura; hermanos, José María (), Silvino () y Olga (); hermanos políticos, sobrinos, primos y demás familia