Das Haus der Familie befindet sich in einem ehemaligen Klostergebäude. 1639 ließen sich Franziskaner in Wipperfürth nieder. Sie erhielten 1659 einen Platz auf dem sogenannten „Krähenberg" geschenkt und erbauten dort von 1670 – 1674 das Klostergebäude und die Kirche, die dem Hl. Antonius geweiht wurde.
Um 1818 verließen die letzten Mönche das Kloster. Danach waren dort das städtische Gefängnis, anschließend die Mittelschule, Gymnasium und Landwirtschaftsschule untergebracht. Seit 1969 füllt die Katholische Familienbildungsstätte Haus der Familie Wipperfürth als Zentrum für Familien- und Erwachsenenbildung in Wipperfürth und darüber hinaus mit einem vielfältigen Bildungsangebot für Familien, als Treffpunkt für Menschen, die für und mit ihrer Familie lernen wollen, und als erste Anlaufstelle für neue Bürgerinnen und Bürger in Wipperfürth in einem historischen Gebäude, das seit über 50 Jahren ganz der Familie und ihrer Lebensgestaltung dient, das Kloster mit neuem Leben.
Gegründet wurde das "Haus der Familie" von der Katholischen Kirchengemeinde St. Nikolaus Wipperfürth mit einer Idee, die bis heute und auch zukünftig trägt: Den Familien nicht nur als Bildungsstätte, sondern auch als Zentrum kulturellen und religiösen Lebens zu dienen und einen öffentlichen Raum zu bieten.