Die Burg wurde um 1200 von der Herren von Vellberg erbaut. Im 15. Jahrhundert bauten die Ritter von Vellberg die Burg und den vor ihr liegenden Weiler als Mittelpunkt ihrer Herrschaft zu einer Feste und zu einem Markt aus. In der Mitte des 16. Jahrhunderts versetzte der Raubritter Hans Thomas von Absberg die Reichsstädte in Franken und Schwaben in Angst und Schrecken. Er entführte Kaufleute auf ihren Handelsreisen und verlangte ein hohes Lösegeld für ihre Freilassung. Er suchte sich Verbündete, die ihn bei seinen Raubzügen unterstützten, auf deren Burgen er sich bei Gefahr flüchten und auf denen er seine Geiseln verstecken konnte. Auch Wilhelm von Vellberg unterstützte ihn bei seiner Fehde, da er sich dadurch erhoffte, seine schwindenden Reichtümer wieder ein wenig aufzustocken. 1523 sandte der Schwäbische Bund schließlich seine Truppen aus, um insgesamt 23 "Raubnester" dem Erdboden gleichzumachen. Die Truppen des Bundes, die angeblich aus 10.000 Fußsoldaten und 1.000 Reitern bestanden, führten 100 Kanonen und 30 Büchsen als Bewaffnung mit sich, für die sie 900 Zentner Schwarzpulver bei sich hatten. Am 11. Juni 1523 erreichten sie die Burg Vellberg und zerstörten den Anteil des Wilhelm von Vellberg an der Ganerbenburg. Vellberg ist die einzige Burg neben Berolzheim, die nicht oder nicht vollkommen zerstört wurde. Das Gebäude wurde 1543-1546 von Wolf von Vellberg und seiner Gemahlin Anna Treusch von Buttlar wieder aufgebaut. Die Bauherren ließen deren Wappen über dem Eingangsportal in Sandstein gehauen. Um 1857 erwarb die Stadt Vellberg das Gebäude vom württembergischen Kameralamt, das bis 2004 als Sitz der Stadtverwaltung diente. Die beiden Gebäude, die über den Grundmauern der ehemaligen Burganlage stehen, wurden in den sechziger Jahren restauriert. Das ganze Gebäude ist seit 2008 in Privatbesitz. Die Kernburg, deren Grundmauern später mit zwei Gebäuden überbaut wurden, ist durch einen erhaltenen Halsgraben von der Stadt getrennt. Über den ehemaligen Zwinger der Vorburg und eine Steinbrücke ist das Grundstück erreichbar. Das südöstliche Gebäude, das ehemalige Rathaus, zeigt noch Reste der Schlosskapelle aus dem Jahr 1549. Die hinter den Gebäuden absinkenden Wehrmauern geben den Blick über das Flusstal zur Stöckenburg im Nordwesten frei. Weiter verfügte die Burganlage über zwei Zwinger und zwei Zwingertore, Geschütztürme, einen alten Graben und einen Kanzleiturm, der später als Gefängnis diente. An der Nordseite der Vorburg befindet sich ein zweites Tor in der Stadtmauer. Dieses wurde laut einer Zahlinschrift im Jahre 1707 zu einer "Schlupfpforte" zugemauert. Um dieses Tor zu erreichen, musste man zuvor den gegen Norden abfallenden Zwinger durchqueren. Ein großer Geschützturm mit offener Plattform schützte den Eingang zum Zwinger. Das Untere Schloß wurde 1543/1546 auf den Grund- und Stockmauern der alten Burg errichtet. Die Westseite des Schlosses ist der Vorburg zugewandt. Die Fassade zeigt Gesimse, die die Gliederung in drei Geschosse mit regelmäßig angeordneten Fenstern betont, zudem einen gestaffelten und durchbrochenen Zinnengiebel, der dem spitz zulaufenden Dach vorgeblendet ist. Rechts befindet sich der Kanzleiturm. Reik hat diese Ansicht auf einem Aquarell festgehalten. Es gibt auch eine Schlosskapelle aus dem 14. Jahrhundert mit dem Freskenzyklus von 1549, der die Passionsgeschichte zeigt. Die Schlusssteine der Rippenkreuzgewölbe zeigt die Wappen derer von Vellberg, Buttlar und Crailsheim. Zudem waren auch Stifter, Ritter und Edelfrauen des Vellberger Adelsgeschlechtes zu sehen. Der Rittersaal (Hakensaal) im 1. Obergeschoss zeigte Jagdszenen der Haller Patrizier als Wandmalereien.
