Das Kloster Ellwangen entstand um 764 auf dem Grundbesitz der beiden adeligen Brüder Hariolf und Erlolf. Sie stammten wohl aus einem alamannisch-bayerischen Geschlecht und jagten an der oberen Jagst. Hariolf stand in königlichen Diensten, während Erlolf im damals burgundischen Dijon vermutlich das Chorbischofsamt von Langres innehatte. Im heutigen Stadtgebiet von Ellwangen bestand damals bereits ein kleines Alamannendorf, in dessen unmittelbarer Nähe Hariolf und Erlolf ihr Benediktinerkloster gründeten. Es war dem Salvator (Erlöser) und den Aposteln Petrus und Paulus geweiht, die Mönche beriefen die beiden Klostergründer wohl aus der Abtei St. Benigne in Dijon. 814 nahm König Ludwig der Fromme das um 775/780 zur Reichsabtei aufgestiegene Virngrundkloster in seinen Schutz, bestätigte dessen bereits ansehnlichen Besitz und verlieh ihm das Recht, den Abt frei zu wählen. 830 zählte der Konvent 120 und 838 160 Priester und Laienmönche; im Verbrüderungsbuch von St. Gallen ist sogar die Rede von 177 Ordensleuten, die in dem erweiterten Klosterareal lebten. Als Schutzheilige verehrt wurden zu dieser Zeit Christus als Erlöser (Salvator), Maria sowie St. Sulpitius und Servilianus, deren Märtyrergebeine 773 Papst Hadrian I. Bischof Erlolf von Langres schenkte und die noch in einem Reliquienschrein in der ehemaligen Stiftskirche, der heutigen Basilika St. Vitus, aufbewahrt werden. Zum Klosterbesitz gehörten auch große Ländereien im Bereich des heutigen Virngrunds. Der frühere Abt Sandrad brachte zwischen 981 und 987 aus Gladbach eine Armreliquie des Heiligen Vitus in das Jagstkloster. Dieser wurde schließlich neuer Kirchen- und Klosterpatron. Von 1100 bis 1124 entstand ein hochromanischer Neubau der Stiftskirche und der Konventbauten. Brandkatastrophen in den Jahren 1100 und 1182 machten Neubauten notwendig, von denen jeder den vorhergehenden übertraf. Die Weihe des ersten Kirchenbaus, der vermutlich weiter westlich stand als der heutige, nahmen 1124 die Bischöfe Hermann von Augsburg und Ulrich I. von Konstanz vor. Den zweiten Kirchenbau, für den 1229 ein Baumeister namens Wunnehard bezeugt ist, weihte der Naumburger Bischof Engelhard am 3. Oktober 1233. Ebenfalls bekannt sind die Namen der Äbte, unter denen der Kirchenbau stattfand: Adalbert I. von Ronsberg (1136-1173) stammte wohl aus dem Reformkloster Ottobeuren und erneuerte das klösterliche Leben in Ellwangen; der Stauferberater Kuno I. (1188-1221) erbaute auch das Schloss ob Ellwangen als Wehrburg und stieg 1215 sogar zum Reichsfürsten auf. Liturgische Bücher wie ein lateinisches Lektionar und ein Totenbuch, die ebenfalls aus dieser Zeit stammen, lassen auf geistliche Blütezeiten im Kloster Ellwangen schließen. Nach 1350 wurden auch im Gebiet des Klosters Ellwangen die Folgen von Pest, Missernten und Teuerungen spürbar; es erfolgte sowohl ein wirtschaftlicher als auch ein sittlicher Verfall. Die meist hochadeligen Mönche waren darauf bedacht, in wichtigen Angelegenheiten selbst zu entscheiden; auch widersetzten sie sich allen Reformversuchen, die von den Klöstern Fulda und Ottobeuren unternommen wurden, und nahmen es mit ihren Gelübden und der benediktinischen Armut nicht so genau. 1384 betrug die Anzahl der Konventualen nur noch sieben; 1430 wurde die Stadt von der Pest heimgesucht, so dass nur noch drei Mönche übrig blieben. Zu allem Unglück folgte auch noch in der Nacht auf den Luzientag 1443 ein verheerender Stadtbrand, bei dem auch das Kloster schwer beschädigt wurde. Daraufhin zogen die verbliebenen Mönche in die Stadt und führten ein eher weltliches Leben. Die Mönche baten 1459 den zuständigen Augsburger Bischof, ihr Kloster in ein Chorherrenstift umzuwandeln. Die Fürstpropstei Ellwangen trat am 14. Januar 1460 mit Einverständnis Papst Pius' II. die Nachfolge des Klosters an.
