Die Burg wurde im 13.-14. Jh. vom Ortsadel erbaut. 1348 gelangten Burg und Dorf in den Besitz der Herren von Helmstadt, später an die Ehrenberg und 1498 an die Herren von Venningen. Der Ort Grombach besteht bereits seit dem 9. Jh.. Von der Anlage sind nur der ehemalige Palas, ein Wehrturm und Reste der Wehrmauer übrig geblieben. Das große mehrstöckige Gebäude mit den 1,60 m dicken Mauern ist gut erhalten. An der Südseite des Palas, im ehemaligen Schlosshof, ist ein Treppenturm angebaut. Über dem 2. Stock befindet sich ein zur Zierde angelegter Rundbogenfries, der sich an der Wehrmauer teilweise wiederholt. Der runde Wehrturm hat ein Spitzdach. Fundamente eines weiteren Turmes sind nachweisbar. Auf der Nordseite erkennt man noch den einstigen Wassergraben. Heute ist das Schloss ein landwirtschaftlicher Betrieb.