Das Museum hat seinen Ursprung im Alten Flakturm auf „den Bergen“. Der Turm wurde 1940 gebaut und diente der Flugabwehr als Beobachtungsposten und Leitstand zur Sicherung der Grünenthaler Hochbrücke. Später diente er auch als Aussichtsturm.
Nach dem Krieg erwog die britische Besatzungsmacht den Turm zu sprengen. Das Mauerwerk war so stabil gebaut, dass man von einer Sprengung absah. Ein Abbruch wäre sehr teuer geworden und man unterließ es. Nachdem die Eigentumsverhältnisse geklärt waren, versuchten Friedrich Karl Wenzlaff und Gero Graf von Gersdorff, "Vereinigte Landsmannschaften" für die von den Flüchtlingen und den Vertriebenen zur Verfügung gestellten Exponaten von der Flucht und Vertreibung der Deutschen aus den ehemaligen deutschen Ostgebieten eine Heimat zu finden. Es boten sich Räume in dem, zwischenzeitlich in Gemeindeeigentum befindlichen Flakturm an. Die ca. 500 Flüchtlinge und Vertriebene aus dem Raum Hanerau-Hademarschen richteten, unter Mithilfe von Handwerkern und Helfern aus ihren Reihen, erst einen, später zwei Räume, her.
Mit einer Ausstellung von Schriften, Büchern, Karten und Erinnerungstücken aus Pommern, Schlesien, Ostpreußen und anderen Ostgebieten wurden Ende Februar 1977 die Räume eröffnet.

Schon 1978 war in Hanerau-Hademarschen die Planung für ein Museum angedacht. Der Ankauf des kleinen Reetdachhauses in der Theodor Storm Str. Nr. 26 konnte nicht realisiert werden.

Als das Gebäude der „Uralt-Schule“(1884 gebaut) im Kloster nach fast 100 Jahren 1983 nicht mehr als Schule gebraucht wurde, entschloss sich die Gemeindevertretung hier ein Museum einzurichten.
In einem Raum wurde die Gemeindebücherei untergebracht; ein Raum ist für die Exponate der Heimatvertriebenen im Flakturm vorgesehen, die doch da in ungeheizten und feuchten Räumen untergebracht waren.
Der Musums-Arbeitskreis, bestehend aus: Friedrich Karl Wenzlaff, Dr. H.W.Schwarz, Helene Hedde, Hans Witt, Gerd Peters, Hinrich Fenske und Franz Treplin, plante in 2 weiteren Räumen Vor- und Frühgeschichte, Natur und Landschaft mit alten Karten einzurichten, weiterhin noch „Haus und Hof“ mit alten Geräten, Kirche und Schule und einer Theodor Storm-Abteilung. Man war davon überzeugt, dass vieles zusammen kommen würde.
Als Eröffnungstermin sah man vor, dafür die Jubiläumswochen mehrerer Vereine und der 800-Jahr-Feier der Burg Hanerau im Mai 1984 zu nutzen.