Schloß oder Burg Haldem wird erstmals im Jahre 1236 als Rittergut im Bistum Minden erwähnt. 1328 belehnte der Mindener Bischof den Ritter Gerold von der Horst mit Haldem. Im 30-jährigen Krieg wurde die Burg vollständig zerstört, und ab 1692 das Gut von Julius August von der Horst wiederaufgebaut. 1830 verkaufte die Familie von der Horst, die sich auf Schloß Hollwinkel zurückzog, das Gut dem Generalleutnant von dem Bussche-Ippenburg. Von 1878 bis 1890 diente Schloß Haldem als Damenstift für unverheiratete Töchter der weit verzweigten Familie. 1910 gelangte Schloß Haldem durch Kauf zurück in den Besitz der Familie von der Horst. Nach dem Suizid des Botho von der Horst im Jahre 1927 erwarb Philip August von Bethmann-Hollweg, ein Neffe des kaiserlichen Reichskanzlers, das Gut. 1935 verkaufte Bethmann-Hollweg es schließlich der Provinz Westfalen, womit es in Staatseigentum kam.
Der NS-Staat nutzte Schloß Haldem von 1936 bis 1945 als Hitlerjugendführerschule. Erst im Jahre 2017 wurde bekannt, daß die Hitlerjugendführerschule in Nebenfunktion zeitweise auch als Umerziehungslager diente. Schüler des Gymnasiums Lüdinghausen hatten im Jahre 1943 sozusagen als Jungenstreich ein Hitlerbild verunglimpft. Daraufhin wurden fünf der Lehrer ins KZ Dachau deportiert, und die 200 Schüler kamen unverzüglich nach Haldem zur "Umerziehung". Die Schüler wurden in Haldem mißhandelt. Bekannt wurde die Angelegenheit durch ein noch lebendes Opfer der Umerziehung, das sich bei der Klinik in Haldem (dem heutigen Nutzer des Schlosses)gemeldet hat, um die Räumlichkeiten des Gebäudes hinsichtlich der Erinnerungen nochmal zu sehen. Er hat von seinen Erlebnissen berichtet. Daraufhin hat die Klinik Recherchen eingeleitet, die von der "Geschichtwerkstatt Haldem" durchgeführt wurden. Das Gedächtnisprotokoll des Opfers erwies sich als wahrheitsgemäß (Quelle: Diepholzer Kreisblatt vom 11. 11. 2017).
1945-47 war das Schloß von der britischen Besatzungsmacht besetzt und wurde anschließend als Lehrerbildungsanstalt genutzt. Ab 1959 war Schloß Haldem eine Suchtklinik, zunächst ausschließlich für Alkoholkranke. Später wurde sie in eine Maßregelvollzugsanstalt für straffällig gewordene Suchtkranke umgewandelt.
Das Schloßgelände mit dem Park ist wegen der hohen Mauer nirgendwo einsehbar (Bild unten). Es kann auch nicht betreten werden. Lediglich die Vorderfront des Schlosses ist öffentlich sicht- und fotografierbar.
