Meta AI

Meta AI stellte im Februar 2023 die bahnbrechende Sprachmodell-Familie Llama vor. Llama zeichnet sich durch seine bemerkenswerte Effizienz und Skalierbarkeit aus, was es besonders attraktiv für Forscher und Entwickler macht, die leistungsstarke KI-Lösungen mit begrenzten Ressourcen entwickeln möchten.

Webseite

Llamas offene Architektur, welches durch die Veröffentlichung des Inferenz-Codes unter Open Source-Lizenz unterstrichen wird, und die Verfügbarkeit verschiedener Modellgrößen ermöglichen eine breite Palette von Anwendungen, von der Textgenerierung bis zur komplexen Datenanalyse, und fördern gleichzeitig Transparenz und Innovation in der KI-Community.

Mit Llama treibt Meta AI die Grenzen des Language Modeling und der Sprachverarbeitung weiter voran und etabliert dadurch seine Rolle als Forschungslabor for die KI-Community.

Allgemein

Modell	Veröffentlicht	Trainiert bis
Codellama – 70B Instruct (nicht mehr unterstützt) Meta AI	01/2024	01/2023
Llama2 – 7B (nicht mehr unterstützt) Meta AI	07/2023	09/2022
Llama2 – 13B Meta AI	07/2023	09/2022
Llama2 – 70B (nicht mehr unterstützt) Meta AI	07/2023	09/2022
Llama3 – 8B Meta AI	04/2024	03/2023
Llama3 – 70B Meta AI	04/2024	12/2023
Llama 3.1 – 8B Instruct Meta AI	07/2024	12/2023
Llama 3.1 – 70B Instruct Meta AI	07/2024	12/2023
Llama 3.1 – 405B Instruct Meta AI	07/2024	12/2023
Llama 3.2 – 1B Instruct Meta AI	09/2024	12/2023
Llama 3.2 – 3B Instruct Meta AI	09/2024	12/2023
Llama 3.2 – 11B Vision Instruct Meta AI	09/2024	12/2023
Llama 3.2 – 90B Vision Instruct Meta AI	09/2024	12/2024

Technisch/Kosten

Modell	Modellgröße	Token-Kapazität / Inhaltsbreite	Max. Token Input	Max. Token Output	Input Token Kosten (per Million Token)	Output Token Kosten (per Million Token)	Multimodale Fähigkeiten
Codellama – 70B Instruct (nicht mehr unterstützt) Meta AI	70000000000	16,834	–	–	0.90 $	0.90 $	Keine
Llama2 – 7B (nicht mehr unterstützt) Meta AI	7000000000	4,096	–	–	0.20 $	0.20 $	Keine
Llama2 – 13B Meta AI	13000000000	4,096	–	–	0.30 $	0.30 $	Keine
Llama2 – 70B (nicht mehr unterstützt) Meta AI	7000000000	4,096	–	–	0.90 $	0.90 $	Keine
Llama3 – 8B Meta AI	8000000000	8,000	–	–	0.05 $	0.08 $	Keine
Llama3 – 70B Meta AI	70000000000	8,000	–	–	0.59 $	0.79 $	Keine
Llama 3.1 – 8B Instruct Meta AI	8000000000	128,000	–	–	0.18 $	0.18 $	Keine
Llama 3.1 – 70B Instruct Meta AI	70000000000	128,000	–	–	0.88 $	0.88 $	Keine
Llama 3.1 – 405B Instruct Meta AI	405000000000	128,000	–	–	5.00 $	5.00 $	Keine
Llama 3.2 – 1B Instruct Meta AI	1000000000	131,072	–	–	0.10 $	0.10 $	Keine
Llama 3.2 – 3B Instruct Meta AI	3000000000	131,072	–	–	0.10 $	0.10 $	Keine
Llama 3.2 – 11B Vision Instruct Meta AI	11000000000	131,072	–	–	0.20 $	0.20 $	Bildbeschreibung
Llama 3.2 – 90B Vision Instruct Meta AI	90000000000	131,072	–	–	0.90 $	0.90 $	Bildbeschreibung

Benchmarks

Modell	MMLU Score	HellaSwag Score	HumanEval Score
Codellama – 70B Instruct (nicht mehr unterstützt) Meta AI	(keine Angaben)	(keine Angaben)	67.40%
Llama2 – 7B (nicht mehr unterstützt) Meta AI	45.30%	77.20%	12.80%
Llama2 – 13B Meta AI	54.8%	80.7%	18.3%
Llama2 – 70B (nicht mehr unterstützt) Meta AI	68.90%	85.30%	29.90%
Llama3 – 8B Meta AI	68.4% (5-shot)	(keine Angaben)	62.2% (0-shot)
Llama3 – 70B Meta AI	80.2% (5-shot)	(keine Angaben)	81.7% (0-shot)
Llama 3.1 – 8B Instruct Meta AI	73.0% (0-shot, CoT)	(keine Angaben)	72.6% (0-shot)
Llama 3.1 – 70B Instruct Meta AI	86.0% (0-shot, CoT)	(keine Angaben)	80.5% (0-shot)
Llama 3.1 – 405B Instruct Meta AI	88.6% (0-shot, CoT)	(keine Angaben)	89.0% (0-shot)
Llama 3.2 – 1B Instruct Meta AI	49.3%	41.2%	(keine Angaben)
Llama 3.2 – 3B Instruct Meta AI	63.4%	69.8%	(keine Angaben)
Llama 3.2 – 11B Vision Instruct Meta AI	73.0%	(keine Angaben)	(keine Angaben)
Llama 3.2 – 90B Vision Instruct Meta AI	86.0%	(keine Angaben)	(keine Angaben)