Bereits 1298 wurde in Eltershofen eine Burg genannt, die dem Adelsgeschlecht Eltershofen, auch Philips-Eberhard genannt, gehörte. Als das Adelsgeschlecht 1516 ausstarb, wurde das Schloss von den Erben von Caspar Eberhard, dem letzten Angehörigen der Herren von Eltershofen, für 522 Gulden an den Haller Bürger Rudolph Nagel verkauft. Dessen Familie durfte sich nun "Nagel von Eltershofen" nennen. Bereits 1535 wurde das Schloss von dessen Sohn Rudolf Nagel von Eltershofen an Eitel Senft von Suhlburg verkauft, dessen Erben wiederum das Schloss nur ein Jahr später an Melchior Senft von Suhlburg veräußerten. 1540 erwarb die Reichsstadt Hall Eltershofen samt Schloss, das Schloss sowie der zugehörige Vorhof und Garten wurden schon einige Jahre später weiterverkauft und hatten mehrere Besitzer. Im 17. Jahrhundert wurde es als Lustschloss von Patriziern aus Schwäbisch Hall neu erbaut. Die Besitzer wechselten auch im 18. Jahrhundert relativ häufig: So wurde das Schloss an den Haller Städtemeister Sanwald verkauft, der es an die Familie Bonhöffer verkaufte. Daran erinnern die neben dem Portal eingemauerten Allianzwappen: Engelhard-Seiferheld (1719) und Engelhard-Bonhöffer (1744). Im 19. Jahrhundert wurde das Schloss in einem nicht bekannten Ausmaß erweitert. Seit 1896 befindet sich das Schloss in Besitz der Grafen von Westerholt. Das Schloss wurde als Wasserburg erbaut. Im Grabenring erhebt sich der Schlosshof, der von Brüstungsmauern eingerahmt wird. Der Schlosshof bildet eine viereckige Terrasse, die von bastionartigen gezinnten Altanen an den Ecken umfasst wird. Darauf befindet sich das Schloss mit einem Vorbau, der bis an die vordere Schmalseite der Terrasse vorspringt. Der Vorbau enthält in der Mitte die Torhalle. Diese betritt man von der Brücke aus. Rechts und links der Torhalle befinden sich zwei Stuben mit Schießscharten. Darüber erhebt sich eine Plattform mit zwei Pavillons. Das Hauptgebäude hat zwei Obergeschosse, ein französisches Walmdach und vier Dachtürmchen an den Ecken.
