Alpaca AI: Stanford baut eine GPT-ähnliche KI für 600 Dollar

Da wird das ChatGPT-Unternehmen Open AI mit fast 30 Milliarden Dollar bewertet – und eine Gruppe von Studierenden bauen das wichtigste Produkt nach. Budget: 600 Dollar. Dafür bekommt man sonst ein mittelgutes Baumarkt-Fahrrad.

Wer die Sprach-KI mit dem Namen Alpaca gleich ausprobieren will, hat Pech. Denn das Uni-Projekt wurde schon wieder offline genommen. Die Projektgruppe nennt als Gründe, dass die KI zu viele unwahre Behauptungen aufgestellt habe. Und die Serverkosten waren zu hoch.

Das Problem mit den Fake-Behauptungen sahen die Forschenden schon voraus und man kennt es auch von vielen anderen KIs. Die Leistung ist also nicht zu unterschätzen.

Wie baut man so eine KI?

Die Forschenden haben mit einem Sprach-Modell gearbeitet, dass der Facebook-Konzern Meta frei (für Forschungszwecke) zur Verfügung stellt. Es heißt LLaMA 7B – daher auch der Alpaka-Name.

Wer jetzt denkt, na gut, dann war das ja nicht so viel Eigenleistung: Nicht vergessen, dass die Tech-Konzerne für KI-Projekte auch auf die Ergebnisse öffentlich geförderter Forschung angewiesen waren.

Das Team aus Stanford verbesserte das Modell mit 52.000 Trainings-Datenpunkten. Hier liegt das oft unterschätzte Erfolgsgeheimnis von ChatGPT. Die KI wird besonders intensiv darauf getunet, überzeugende und nicht-anstößige Inhalte zu produzieren.

Viel dieser Arbeit wird von Menschen geleistet, für Minimallöhne. Man kann sich das ein wenig wie bei Social-Media-Plattformen vorstellen: Sie sind nicht technisch super komplex, sondern in der Moderation. Wenn es nicht genug Menschen gibt, die gegen Lügen oder Gewalt-Inhalte vorgehen, ist das Ergebenis toxischer Content.

Wie gut ist Alpaca?

Das Projekt aus Stanford zielte darauf ab, zu ergründen, wie einfach so ein Modell nachgebaut werden kann. Das ist auch wichtig, damit Forschende nicht den Anschluss an die Entwicklung verlieren.

In Unternehmen wir Open AI fließt schließlich eine absurde Menge an Investorengeld, während selbst die Elite-Uni Stanford sich mit moderaten Forschungsbudgets begnügen muss.

Trotzdem sind die Ergebnisse von Alpaca in ihrer Qualität nicht weit von GPT (dem Modell hinter der Anwendung ChatGPT) weg. Die Forschenden sahen beide in etwa gleichauf. Alpaca habe 90 der Beispiele „gewonnen“, GPT 89.

Und das Team erklärt, man hätte das ganze sogar noch billiger umsetzen können.