Dutzende von Unternehmen auf der ganzen Welt versuchen nun, den Erfolg des ChatGPT-Sprachmodells zu wiederholen. Den Entwicklern der Universität Stanford ist dies jedoch auf ihre eigene Weise gelungen.
Sie schufen Alpaca 7B, das wie ChatGPT funktioniert, aber auf einem Open-Source-Sprachmodell basiert. Und es kostete nur 600 Dollar für das Training, während ChatGPT Millionen von Dollar wert ist.
Es basiert auf dem Meta LLaMA 7B-Modell, das auf eine bestimmte Weise trainiert wurde. Es ist wichtig zu wissen, dass dies das kleinste Modell der LLaMA-Reihe ist. In der Grundversion lag es bei den meisten Aufgaben hinter ChatGPT zurück, aber nach dem notwendigen Training übertraf es es sogar.
Bei Tests mit Aufgaben, die E-Mail, soziale Medien und Leistungstools betreffen, gewann Alpaca 90 dieser Tests, während GPT 89 gewann.
"Angesichts der geringen Modellgröße und der bescheidenen Datenmenge für die Ausführung der Anweisungen waren wir von diesem Ergebnis überrascht. Zusätzlich zu dieser Reihe statischer Auswertungen haben wir Alpaca auch interaktiv getestet und festgestellt, dass es sich bei verschiedenen Eingaben oft ähnlich wie GPT-3.5 verhält. Wir räumen ein, dass unsere Evaluierung in Bezug auf Umfang und Vielfalt begrenzt sein könnte", so die Entwickler.
Wir stellen jedoch fest, dass solche neuronalen Netze auf normalen PCs oder sogar auf Einplatinen-Systemen wie dem Raspberry Pi ausgeführt werden können.
2023-03-21 07:00:44
Autor: Vitalii Babkin
Quell-URL