Joseph giftet seg med Gladys Leonora Bye 30 Okt 1923, Eau Claire, Eau Claire County, Wisconsin, USA. Gladys (datter av Ole R. Bye og Mary Anne Olsen) ble født 26 Nov 1902 , Eau Claire, Eau Claire County, Wisconsin, USA; døde 30 Sep 1990, Eau Claire, Eau Claire County, Wisconsin, USA; ble begravet 1990, Forest Hill Cemetery, Eau Claire, Eau Claire County, Wisconsin, USA. [Gruppeskjema] [Familiediagram]

1. Jeanne Erpenbach ble født 26 Feb 1925 , Eau Claire, Eau Claire County, Wisconsin, USA; døde 13 Okt 1977, Denver County, Colorado, USA; ble begravet 26 Okt 1977, Denver, Denver County, Colorado, USA.
2. Mary Jo Erpenbach ble født 8 Jun 1934 , Eau Claire, Eau Claire County, Wisconsin, USA; døde 3 Feb 1996, Eau Claire, Eau Claire County, Wisconsin, USA.
3. Jon Robert Erpenbach ble født 3 Mar 1937 , Eau Claire County, Wisconsin, USA; døde 4 Aug 2004, Eau Claire County, Wisconsin, USA; ble begravet , Tilden, Chippewa County, Wisconsin, USA.