Kognitive Plausibilität in NLP
Das Buch ist endlich da! Nora Hollenstein und Lisa Beinborn geben eine detaillierte Einführung in die Forschung zur kognitiven Plausibilität im NLP.
Übersicht
Sprache ist ein mächtiges Instrument der menschlichen Kommunikation, das elegante Mechanismen für den Ausdruck hochkomplexer Phänomene bietet. Wir verwenden Sprache jeden Tag und in allen Aspekten unseres Lebens. Die Vielseitigkeit und Variabilität der Sprache machen sie zu einem schwierigen Objekt für die computergestützte Modellierung, im Gegensatz zu den eher systematischen Sensorsignalen. Sprache folgt grundlegenden Regeln, um uns dann mit Ausnahmen und Mehrdeutigkeiten auf allen sprachlichen Ebenen zu überraschen, und das Verständnis ihrer Feinheiten erfordert sogar noch größere kulturspezifische Kenntnisse als die Interpretation von Bildern.
Trotz dieser Komplexität verarbeitet der Mensch Sprache normalerweise mühelos. Wir sind in der Lage, unseren Sprachgebrauch zu variieren, um uns nahtlos an das jeweilige Zielpublikum anzupassen und situationsbedingte Hinweise für eine nahtlose Auflösung von Mehrdeutigkeit zu integrieren. Die Forschung auf dem Gebiet des Natural Language Processing (NLP) hat bereits Jahrzehnte damit verbracht, zu verstehen, wie man Sprache computergestützt modellieren kann, aber komplexe logische Aufgaben und kreative Konstruktionen führen immer noch zu offensichtlichen Fehlern in den Modellen. Dennoch ist der Erfolg des Forschungsgebiets unbestreitbar. Es gewinnt eine ständig wachsende Zahl von Forschern, und Sprachverarbeitungsmodelle sind zu einer wichtigen Technologie in unserem täglichen Leben geworden. Diese Entwicklungen stehen in engem Zusammenhang mit der zunehmenden Verfügbarkeit großer Mengen von Trainingsdaten und effizienteren Rechenressourcen. Neuronale Sprachmodelle (LMs) werden auf Terabytes von Daten trainiert und optimieren Millionen von Parametern, um Muster aus Texten zu extrahieren.
Während der allgemeine Nutzen der computerbasierten Modellierung in verschiedenen Disziplinen eindeutig nachgewiesen wurde, beobachten wir erhebliche Meinungsverschiedenheiten bei der Bewertung der Eigenschaften, die ein „nützliches“ Modell charakterisieren. Wir schlagen vor, die kognitive Plausibilität als zusätzlichen Faktor zu integrieren und stimmen mit ihrer Forderung nach mehr multidimensionaler Forschung zur Erfassung von Wechselbeziehungen überein. Wir denken, dass eine mehrsprachige Perspektive erforderlich ist, um mehr über kognitiv plausible Prinzipien der Sprachverarbeitung zu erfahren. Und kognitiv plausiblere Modelle können zu rechnerisch effizienteren Modellen führen.
Kognitive Plausibilität selbst ist ein vielschichtiges Konzept, das sich in den verschiedenen Disziplinen stark unterscheidet:
- Informatiker:innen konzentrieren sich auf die quantitative Performanz des Modells, das sich bei statischen Vergleichsdaten nicht vom Menschen unterscheiden sollte.
- Neurowissenschaftler:innen konzentrieren sich auf die biologische Plausibilität des Modells und versuchen, Modelle der synaptischen Plastizität zu entwickeln, die anhand von Testdatensätzen bewertet werden, die viel kleiner sind als die üblichen Bewertungsdatensätze in NLP.
- Psycholog:innen konzentrieren sich auf die Plausibilität der Lernprozesse in Sprachmodellen. Sie hinterfragen den Umfang und die Qualität der verwendeten Eingabedaten, untersuchen Speicher- und Attention- Restriktionen und erforschen Lernkurven. Sie versuchen, experimentelle Faktoren zu isolieren, indem sie mit sorgfältig entworfenen Stimuli arbeiten, die oft nicht repräsentativ für den realistischen Sprachgebrauch sind.
Wir nähern uns dem Konzept der kognitiven Plausibilität, indem wir in die Interpretierbarkeitsforschung eintauchen und das Potenzial ihrer Methoden für kognitiv inspirierte Forschungsfragen herausarbeiten. Darüber hinaus untersuchen wir Methoden, die psycholinguistische Daten und Theorien in computergestützte Modelle integrieren.
Kooperationspartner
Nora Hollenstein, Lena Jäger, Iza Škrjanec, Miyu Oba
↪ Zurück zu Forschung Übersicht.