Lexical Representations Across Time: Can Language Models Capture Diachronic Semantic Drift?
- Diese Arbeit untersucht, ob und unter welchen Bedingungen diachroner semantischer Wandel als Signal in den kontextualisierten Tokenrepräsentationen
vortrainierter Sprachmodelle nachweisbar ist. Ausgangspunkt ist die theoretische Konvergenz der Distributionalhypothese mit der Architektur moderner
Transformer-Modelle: da kontextualisierte Embeddings distributional definierte
Bedeutung operationalisieren, könnten sie latent kodieren, was die Bedeutungsgeschichte eines Wortes hinterlässt. Drei Beiträge werden geleistet: Erstens
wird der AmDi-Datensatz vorgestellt, ein sense-annotiertes, multi-temporales
Korpus polysemer deutschen Nomen mit 22.230 annotierten Instanzen, verankert im GermaNet-Inventar. Zweitens werden zwei Trainingsstrategien zur
Verstärkung des temporalen Signals evaluiert: Multitask-Instruction-Tuning
scheitert daran, diachrones Signal uuverlässig von überlagernden Signalen zu
trennen; kontrastives Lernen mit temporal gewichteter Verlustfunktion gelingt
dies auf Lemmaebene und erzielt messbar höhere Signal-Rausch-Verhältnisse.
Drittens wird ein Messrahmen entwickelt, der semantischen Drift nicht als
skalare Distanz zwischen mittleren Embeddings erfasst, sondern als Verteilung
dimensionaler Veränderungen im Einbettungsraum. Diese Verteilungsmetriken
korrelieren zuverlässiger mit goldstandard-basierten Bedeutungswandelurteilen
als Kosinus-basierte Baseline-Maße. Die Arbeit diskutiert zudem die epistemologischen Grenzen des Ansatzes: Muster in Modellrepräsentationen erlauben
keine direkten Rückschlüsse auf natürlichen Sprachwandel; der Erkenntnisgewinn liegt vielmehr darin, zu verstehen, welche sprachlichen Signale Modelle
enkodieren und wie diese nutzbar gemacht werden können.