Mitten im Elm liegt die Ruine der Elmsburg. Bereits im Jahr 1840 wurde diese von einem nicht namentlich bekanntem Förster erstmalig vermessen, jedoch konnte er damals nicht die genauen Maße erfassen. Erst zwischen 1959 und 1962 legten Archäologen die Fundamente frei und bestimmten das volle Ausmaß der ehemaligen Burg. Neben den Fundamenten fanden die Wissenschaftler Keramikstücke aus der Eisenzeit (1.200 bis 450 Jahre v. Chr.), sodass lange vermutet wurde, Teile des äußeren Walls stammen bereits aus dieser Zeit. Weil sich jedoch keine weiteren Fundstücke aus dieser Zeit finden ließen, gilt diese Vermutung nicht als sicher.
Da die Elmsburg vollständig zerstört wurde, lassen sich Details zu ihren vollen Ausmaßen und ihrem Aussehen nur noch vermuten. Genauere Angaben sind nur zur Burgkapelle möglich. Diese wurde sogar zweimal errichtet, das erste Mal bereits im 11. Jahrhundert. Die Kirche diente auch als Grabstätte wie Überreste menschlicher Skelette und Gräber beweisen.
Im frühen 13. Jahrhundert ging die Burg an den Deutschen Ritterorden, der hier eine Kommende einrichtete, wurde aber bereits rund 40 Jahre später aus Platzgründen aufgegeben. Die Kommende wurde nach Lucklum verlegt. Nach einem Großbrand, datiert auf das Jahr 1572, verfiel die Elmsburg nach und nach.
Von der Elmsburg müssen jahrhundertelang mehrere geheime Tunnel zu anderen Orten geführt haben. die noch lange begehbar waren. Zeitzeugen berichten wie sie als Kinder bis in die 1950er Jahre hinein in den Tunneln spielten. Natürlich ranken sich auch zahlreiche Sagen und Gruselgeschichten um die Burg und ihre Tunnel, darunter die Geschichte vom Burgfräulein, das jede Nacht von der Elmsburg zum Goldenen Hirsch – einem nahegelegenen Steinblock im Elm – wandert und jedem mit einem schweren Schlüsselbund schlägt, der sich ihr zu nähern versucht.
Zum Glück ist das Burgfräulein nur nachts unterwegs. So haben Wanderer und Radfahrer bei ihren Tagestouren durch den Elm die Gelegenheit, sich die restaurierten Grundmauern der Kapelle und das umliegende Areal der früheren Elmsburg anzuschauen. Hier bietet sich also auch die Möglichkeit eine Pause für eine kleine Stärkung einzulegen.