Chatbot: Studie beweist rasante Entwicklung von KI-Modellen

Nutzt du regelmäßig einen Chatbot wie beispielsweise ChatGPT? Da bist du nicht allein. Schließlich erfreuen sich die KI-Helferlein zunehmender Beliebtheit. Und das dürfte sich so schnell wohl auch nicht mehr ändern. Vielmehr könnten die Helferlein auf Basis künstlicher Intelligenz in Zukunft sogar noch bedeutsamer werden. Das legt eine nun veröffentliche Studie nahe. Diese hat ergeben, dass sich die großen Sprachmodelle in einer beeindruckenden Geschwindigkeit weiterentwickeln.

Entwicklung bei Chatbot schneller als bei Chiptechnik

Wenn es um den technischen Fortschritt geht, mussten bislang Computerchips als Vorzeigemodelle herhalten.  Schließlich gibt es wohl kaum einen technischen Bereich, in dem die Entwicklung ähnlich rasant ist. Das hat sich nun offenbar geändert. So scheint die Leistungssteigerung bei Chatbots auf KI-Basis nochmal schneller vonstatten zu gehen. Im Fokus einer wissenschaftlichen Untersuchung waren nun Large Language Models (LLM), die gewissermaßen das Lexikon für Chatbots darstellen.

In den letzten acht Monaten soll sich laut Angaben der Forscher vor allem die Recheneffizienz deutlich gebessert haben. Die Auslastung sei wohl bei gleicher Aufgabe um 50% zurückgegangen. Da können Computerchips schlicht nicht mithalten. Eine Verdopplung der Leistung ist hier nur alle anderthalb bis zwei Jahre möglich. Wissenschaftlich erwiesen ist das Ganze durch das Mooresche Gesetz. Womöglich muss man für Chatbots oder besser gesagt LLMs nun ein neues wissenschaftliches Gesetz einführen.

Der Algorithmus steht im Fokus

Während Computerchips erst mit einer besseren Hardware auch mehr Rechenleistung bringen können, steht bei Chatbots bzw. LLMs die Software im Fokus. Das hat nun auch Tamay Besiroglu vom Massachusetts Institute of Technology (MIT) betont. In einem Interview mit New Scientist sagt er, dass es Algorithmen seien, die die Leistung von Chatbots bestimmen.

Und eben diese scheinen sich rasend schnell weiterzuentwickeln. Laut den Aussagen von Besiroglu ist die Leistungssteigerung aber auch auf anderem Wege möglich. So könne man LLMs offenbar mittlerweile hochskalieren. Das wiederum sorgt aber dafür, dass wieder mehr Rechenleistung vom System erforderlich ist. Hierfür benötigt man dann passende Chiptechnik wie zum Beispiel den H100-Beschleuniger, der Nvidia derzeit einen wahren Geldsegen beschert.

Allerdings ist die Lösung nicht nur teuer, sondern scheitert auch an der begrenzten Anzahl der speziell auf KI-Anwendungen ausgerichteten Chips. In ihrem Test nahm das Team von Wissenschaftlern insgesamt 231 KI-Modelle unter die Lupe. Solltest du dir die gesamte Studie ansehen wollen, kannst du sie dir als Preprint bei Arvix ansehen.