Angeblich stammt das Geschlecht von Freyberg aus Rom. Ein Curius sei wegen seines christlichen Glaubens von dort nach Graubünden geflüchtet – offensichtlich eine Übernahme aus Thomas Lirers Chronik – und habe hier die Burg Librimons (Freiberg) erbaut. Von dort sei dann die Familie in der Mitte des 11. Jahrhunderts nach Schwaben verdrängt worden. Diese Erzählung übernimmt auch 1884 Max von Freyberg (* 1825) in seiner Genealogischen Geschichte der Freiherren von Freyberg, er überlässt aber das Urteil über die Glaubwürdigkeit dem Leser. Für seine Arbeit beruft sich Max von Freyberg auf die familiengeschichtlichen Forschungen seines Vaters, des Staatsbeamten und Historikers Max Procop von Freyberg-Eisenberg zu Jetzendorf (1789-1851). Dieser hat besonders für den Zeitraum vor 1600 oft auf ältere Familienchroniken zurückgegriffen, nach eigenen Angaben vor allem auf die "Deductio vnd gründtliche Beschreibung deß von den Römern endtsprossenen vnd herkhommen vhralten rittermässigen Thurnier Adel deren von Freyberg...". Als Verfasser dieses Werkes wird dort ein Helfried von Freyberg († 1632) der Löwenfelser Linie angeführt. Solche Quellen wie auch andere genealogische Druckschriften der damaligen Zeit geben für die wissenschaftliche Arbeit oft wertvolle familiengeschichtliche Hinweise, doch ist für den Zeitraum vor 1600 Vorsicht geboten. Max von Freyberg behandelt in seiner Chronik folgende Linien: Die Linie im Elsass; die Angelberger Linie (die älteren dort angeführten Familienmitglieder müssten einer "Linie Steußlingen" zugerechnet werden, die jüngeren (nach 1300) z. T. der Linie Eisenberg); die Eisenberger Linie (die Linie Eisenberg wurzelt mit Sicherheit in der Linie Angelberg beziehungsweise "Steußlingen"); die Löwenfelser Linie; die bayerische Linie; die Achstetter Linie. Urkundlich tauchen Mitglieder des Geschlechtes erst ab dem 13. Jahrhundert auf. Die ältesten Nennungen datieren in das Jahr 1237: Ulrich von Freyberg und Heinrich von Freyberg. Bis etwa 1280 erscheint dann in den Urkunden fast ausschließlich nur ein Heinrich von Freyberg, den man wohl den Freybergern in (Alt-)Steußlingen zurechnen muss. 1343 verkauft Ullrich Fraß von Wolfsberg die Herrschaft Angelberg (bei Tussenhausen) an Friedrich und Heinrich von Freyberg-Altensteußlingen, 1368 wird die Burg Angelberg von der Stadt Augsburg wegen Zollrechten am Lech zerstört und 1433 verkauft Hans von Freyberg die Herrschaft Angelberg für 6400 rheinische Gulden an seinen Schwager Wilhelm d. Ä. von Riedheim. Manche Familienmitglieder brachten es in der Zeit bis 1800 zu angesehenen Ämtern. Unter den Domherren von Augsburg, Eichstätt, Ellwangen und Kempten befinden sich Freyberger. Christoph von Freyberg war 1555 bei der Vereinbarung des Augsburger Religionsfriedens Domdechant in Augsburg. Hans Adam von Freyberg war 1593 Haus-Comthur des Deutschen Ordens auf Burg Horneck. Ludwig (Lutz) von Freyberg (1468–1545) aus der Angelberger Linie war Inhaber der Herrschaft Öpfingen und Pfandherr der Herrschaften Ehingen, Schelklingen und Berg von 1507-1530. Er war mit der reichen Erbtochter Sibylla Gossembrot (oder Gossenbrod), einziges Kind des Georg Gossembrot verheiratet. 1530 gab er diese Pfandherrschaft ab, um im selben Jahr für seinen Sohn Georg Ludwig von Freyberg d. Ä. (1507-1562) die reichsunmittelbare Herrschaft Justingen zu erwerben. Georg Ludwig war ein eifriger Anhänger des Reformators Kaspar Schwenckfeld. Dessen Sohn Michael Ludwig von Freyberg zu Justingen (* um 1525, † Justingen 1582) ehelichte Felicitas Landschad von Steinach (Neckarsteinach), welche wie er protestantischen Glaubens war. Beide Eheleute errichteten 1568-1569 Schloss Justingen neu. Als Inhaber der reichsunmittelbaren Herrschaft Justingen nahm er am Reichstag zu Augsburg 1582 teil. Pankraz von Freyberg zu Hohenaschau (1508-1565), bayerischer Staatsmann, Standesherr und Unternehmer, neigte der Reformation zu. Helena von Freyberg (1491-1545), Vertreterin der österreichisch-süddeutschen Täuferbewegung.
