Effiziente „Horizonterweiterung“ für Chatbots: Sequenzmodelle profitieren von dosierter Nichtlinearität

– Chatbots wie ChatGPT basieren auf Machine Learning-gesteuerten Sequenzmodellen
– Für die Qualität der Anwendungen ist die Art des Modells entscheidend
– Forschende belegen: bei der Verarbeitung kontextbezogener Zusammenhänge übertrafen Modelle mit dosierter Nichtlinearität rein lineare und vollständig nichtlineare Modelle – Die Integration dosierter Nichtlinearität wird als allgemein nützliches Designprinzip für daten-effiziente Sequenzmodelle angesehen – Für die Analyse neuronaler Aufzeichnungen sind die Ergebnisse ebenfalls relevant: hier können kombinierte Modelle nicht nur Verhalten vorhersagen, sondern auch grundlegende Berechnungsprinzipien des Gehirns aufzeigen