Simon Werner

• Representation Learning techniques play a crucial role in a wide variety of Deep Learning applications. From Language Generation to Link Prediction on Graphs, learned numerical vector representations often build the foundation for numerous downstream tasks. In Natural Language Processing, word embeddings are contextualized and depend on their current context. This useful property reflects how words can have different meanings based on their neighboring words. In Knowledge Graph Embedding (KGE) approaches, static vector representations are still the dominant approach. While this is sufficient for applications where the underlying Knowledge Graph (KG) mainly stores static information, it becomes a disadvantage when dynamic entity behavior needs to be modelled. To address this issue, KGE approaches would need to model dynamic entities by incorporating situational and sequential context into the vector representations of entities. Analogous to contextualised word embeddings, this would allow entity embeddings to change depending on their history and current situational factors. Therefore, this thesis provides a description of how to transform static KGE approaches to contextualised dynamic approaches and how the specific characteristics of different dynamic scenarios are need to be taken into consideration. As a starting point, we conduct empirical studies that attempt to integrate sequential and situational context into static KG embeddings and investigate the limitations of the different approaches. In a second step, the identified limitations serve as guidance for developing a framework that enables KG embeddings to become truly dynamic, taking into account both the current situation and the past interactions of an entity. The two main contributions in this step are the introduction of the temporally contextualized Knowledge Graph formalism and the corresponding RETRA framework which realizes the contextualisation of entity embeddings. Finally, we demonstrate how situational contextualisation can be realized even in static environments, where all object entities are passive at all times. For this, we introduce a novel task that requires the combination of multiple context modalities and their integration with a KG based view on entity behavior.
• Techniken des Representation Learnings sind maßgeblich für die Funktion zahlreicher Anwendungen des Deep Learnings. Als Repräsentationen werden Abbildungen von realweltlichen Konzepten oder Dingen in den Vektorraum verstanden, welche als Eingangssignal für tiefe neuronale Netzwerke verwendet werden. Ein Beispiel sind sogenannte Wordvektoren, die als numerische Repräsentation von Worten in Techniken des Natural Language Processing Anwendung finden. Diese Repräsentationen sind kontextabhängig und können wie auch die zugrundeliegenden Wörter selbst verschiedene Bedeutungen in Abhängigkeit der benachbarten Wörter tragen. Auf der Ebene der numerischen Repräsentationen von Entitäten aus Wissensgraphen hingegen überwiegt der Ansatz statischer Vektorrepräsentationen. Im Hinblick auf die Speicherung statischer Informationen in Wissensgraphen ist diese Paradigma ausreichend, gerät jedoch an seine Grenzen sobald dynamische Situationen modelliert werden. Diese Dissertation befasst sich damit, Techniken und Formalismen zu entwickeln, die es ermöglichen, kontextabhängige Vektorrepräsentationen auch für wissensgraphbasierte Anwendungen zu verwenden. Ziel ist es, mit diesen dynamischen oder kontextabhängigen Vektorrepräsentationen dynamische Situationen realweltlicher Entitäten zu modellieren. Im Rahmen dieser Arbeit umfasst dies Nutzer in sozialen Netzwerken, Fahrzeuge im Straßenverkehr, geopolitische Entitäten und Teilnehmer in einem Wahrnehmungsexperiment. In diesem Rahmen wird auf Grundlage prädiktiver Fragestellungen (z.B. Welche Lokalität wird von einem Nutzer als nächstes aufgesucht?) empirisch aufgezeigt, dass die beschriebenen neuartigen Methoden den bekannten statischen Vektorrepräsentationen hinsichtlich der Modellierung dynamischen Verhaltens überlegen sind. Hierzu werden zunächst anhand empirischer Experimente die Grenzen statischer Verfahren aufgezeigt. Aufbauend hierauf wird der temporally contextualized Knowledge Graph Formalismus und das dazugehörige Verfahren zum Embedding (d.h. der Abbildung in den Vektorraum) namens RETRA entworfen, mit dem die geforderte Kontextualisierung der Vektorrepräsentation von Entitäten aus Wissensgraphen realisiert wird. Anschließend wird im Rahmen einer weiteren empirischen Studie aufgezeigt, wie sich eine statische Welt auf das Konzept der situativen Kontextualisierung auswirkt und mit welchen Maßnahmen dem begegnet werden kann. Hierzu wird ein neuer Task eingeführt, für dessen Lösung es notwendig ist, verschiedene Kontextmodalitäten (hier Bild und Text) in eine wissensgraphbasierte Herangehensweise heranzuziehen.