Generell kennt man das aus der Mathematik oder Physik wie folgt: Um etwas zu veranschaulichen, muss man zunächst ein Koordinatensystem (meist ein zwei- oder dreidimensionales kartesisches Koordinatensystem) erstellen. In diesem Raum finden nun Geometrie und Differentialrechnung statt. Raum ist eigentlich immer der dreidimensionale euklidische Raum, in dem wir seit Jahrtausenden leben und für den wir daher ein gutes intuitives Gespür haben.
Neben dem euklidischen Raum gibt es noch weitere abstrakte Vektorräume, die jedoch nicht Gegenstand des heutigen Blogartikels sind. Tatsächlich verzichten wir komplett auf die Vorbedingungen von Vektoren und algebraischen Strukturen und schauen uns stattdessen an, was wir ohne sie berechnen können. Anders als in der Mathematik oder der Physik gewinnen wir diese neue (Achsen-)Freiheit durch Anforderungen, die in der Datenwissenschaft üblich und sogar allgegenwärtig sind. Wohldefinierte Vektorräume werden in freier Wildbahn fast nie gefunden.
Aufgrund des Fehlens algebraischer Strukturen, oder besser gesagt, weil die Voraussetzungen für algebraische Strukturen weggelassen werden, fehlen die meisten bekannten Operationen der Mathematik im Moment. Dazu gehört unter anderem die Summation oder Multiplikation von Elementen, aber auch Integrale und Differentiale, da wir keine wohldefinierten Objekte mehr haben. Es entsteht also zunächst einmal ein Gefühl der Obdachlosigkeit oder Hilflosigkeit; oder um es positiv auszudrücken: Es fühlt sich an wie eine Rucksackreise in ein unbekanntes Land. In unserem Rucksack sind aber zumindest noch die Zahlen (oder allgemeiner gesagt: Elemente) als solche enthalten. Nach den Prinzipien der Mengenlehre bauen wir uns ein neues Zuhause, indem wir vor Ort und spontan Zelte aufbauen. Unser metrischer Raum bietet uns Schutz.
Der metrische Raum
Da ein metrischer Raum eine Menge ist, kann er gemäß der Mengenlehre mit einem Rahmen dargestellt werden (siehe Abb. 2). ).
Diese Menge enthält nun Elemente , nämlich Datenpunkte, Beobachtungen und Einträge (Abb. 3). Die Begriffe sind im vorliegenden Kontext alle synonym.
Die Anzahl der Elemente in diesem Raum ist endlich. Aufgrund der Nichtexistenz von Vektoren gibt es keinen Nullpunkt und keine Richtung, also keine absolute Position im Raum. Alles ist „relativ“.
Die Elemente werden in einer Art Tabelle erfasst (Tab. 1).
Jede Zeile in dieser Tabelle entspricht einer verwandten Gruppe von Beobachtungen. Jede Spalte entspricht einer nicht kohärenten Beobachtung. Diese Konvention dient jedoch nur der Übersichtlichkeit komplexer und verschachtelter Datentypen, ist jedoch keine Grundvoraussetzung. Das „x“ kann jeder komplexe Datentyp oder jede digitale Darstellung einer Beobachtung sein, angefangen bei einer einzelnen Zahl, einer Kurve, einem Bild bis hin zu einer Sammlung von Bildern im Sinne einer Probensammlung. Alles in einer einzelnen Zeile dieser Tabelle ist ein (1!) Datenpunkt. Als Informationen sind neben Zahlen auch Zeichenfolgen oder Sätze erlaubt.
Um diese Elemente in einen metrischen Raum umzuwandeln, wird pro Spalte eine Distanzfunktion definiert. Mit dieser Funktion lässt sich der Abstand zwischen zwei Elementen innerhalb der Spalte berechnen, sodass wir ganze Zeilen über ihren Abstand zueinander vergleichen können.
Diese Funktion, die üblicherweise Metrik genannt und benannt wird, unterliegt einigen Anforderungen, auf die wir in einem anderen Blog ausführlicher eingehen werden. Da nur der Abstand zwischen zwei Elementen berechnet werden muss, ist kein absolutes Koordinatensystem erforderlich, das ein Gitter hinter den Datenpunkten aufspannen soll. Im Prinzip beschreibt jede Metrik die minimalen Kosten einer informationstechnischen Umkodierung unter Randbedingungen. Einfache Metriken wie die Euklidische Metrik können als explizite Formel angegeben werden. Im Allgemeinen wird jedoch jeweils ein Optimierungsproblem gelöst, um zwei Datenpunkte zu vergleichen. Der Abstand ist der minimal erforderliche Aufwand einer Umkodierung. Im euklidischen Raum entspricht es den Fluglinien (Abb. 4).
Das bloße Vorhandensein dieser Funktion und einer Sammlung von Datenpunkten reicht aus, um unsere Tabelle in einen metrischen Raum zu verwandeln. Dadurch ist er bereits implizit definiert, ohne dass etwas berechnet werden muss. Eine explizite Darstellung des metrischen Raums erhalten wir, indem wir alle Abstände paarweise mit der Metrik berechnen und in eine Matrix namens Distanzmatrix eintragen.
Die diagonalen Einträge dieser Matrix sind Null. Er ist symmetrisch und positiv definit oder hat eine Determinante größer oder gleich 0. Diese Eigenschaften werden durch die Metrik garantiert.
Visualisierung eines metrischen Raums
Im Prinzip kann ein metrischer Raum durch einen Graphen visualisiert werden, dessen ungerichteten Kanten wir den Wert des jeweiligen Abstands des Elementpaars zuweisen.
Alles in allem ist das Diagramm das adäquate Mittel zur Visualisierung. Allerdings lässt sich eine vollständige Distanzmatrix nicht intuitiv interpretieren und ist aufgrund ihrer quadratischen Komplexität sehr aufwändig in der Berechnung und Speicherung. Für eine explizite Darstellung müssen nicht alle gepaarten Distanzen verwendet werden. Dieser Graph kann in verschiedenen Schritten bis hin zu einem Baum ausgedünnt werden. Dadurch entstehen Strukturen bzw. können Strukturen sichtbar gemacht werden.
Jetzt haben wir also einen Raum, in dem wir die Abstände zwischen den Elementen berechnen können. Aufgrund des Fehlens eines zugrunde liegenden Gitters oder von Vektoren können die einzelnen Elemente wie Zeichenfolgen oder Bilder immer noch nicht addiert, subtrahiert, multipliziert usw. werden.
Was mit der Metrik berechnet werden kann Räume?
Zuerst können bestimmte Eigenschaften des metrischen Raums berechnet werden, wie zum Beispiel die Entropie, die ein Maß für die intrinsische ist Dimensionalität und Informationsvielfalt. Darüber hinaus kann die Verzerrung bestimmt werden, die überprüft, wie unterschiedlich der metrische Raum im Vergleich zu einer typischen Vektordarstellung ist. Darüber hinaus können metrische Räume dies tun in klassische Vektorräume und wieder zurück abgebildet werden – die eingangs erwähnten Spontanzelte. In dieser kodierten Form eines Vektorraums können dann die üblichen Operationen wie Interpolationen, Mittelungen, Statistiken usw. in gewohnter Umgebung durchgeführt werden. Es können aber auch metrische Räume direkt in Beziehung gesetzt werden. Beispielsweise kann die Korrelation zweier metrischer Räume, die Entropie von Mischungen oder ein Abstand zwischen zwei metrischen Räumen selbst berechnet werden, die somit ein Element für sich darstellen. Schauen wir uns Letzteres an einem Beispiel an.
Zu diesem Zweck betrachten wir den bekannten MNIST-Datensatz in Form einer Stichprobe Sammlung. Jede Zeile unserer Tabelle enthält einen Vektor mit etwa 5000 Datenpunkten aus Schwarzweißbildern, die handgeschriebene Zahlen (0-9) darstellen – eine ungeordnete Beispielsammlung.
Wir haben also 10 Zeilen und 1 Spalte. Der komplexe Datentyp in jeder Zeile ist ein Vektor, der statt einzelner Zahlen beliebig viele 2D-Arrays (die Bilder) enthält. Wir werden nun zunächst die Bilder (28x28 Pixel = 784 Freiheitsgrade) in einen dimensionsreduzierten Vektorraum mit transformieren 20 Dimensionen mit einem linearen Feature-Encoder. Mithilfe einer euklidischen Metrik werden wir nun jedes einzelne 28x28-Zeichen in einen neuen, niedrigdimensionalen, aber informationstechnisch äquivalenten metrischen Raum abbilden. Wir definieren nun eine übergeordnete Metrik für diese 10 dimensionsreduzierten Räume und berechnen die paarweisen Abstände zwischen den 10 Zeilen der Tabelle. Wir erhalten eine Matrix, aus der wir unter Berücksichtigung der Variation jedes einzelnen Zeichens ablesen können, wie sich die Zeichen unterscheiden: Die Distanzmatrix.
Die Distanzmatrix zeigt, dass die „1“ den größten Abstand zu allen anderen Zeichen hat. Somit ist es den anderen Ziffern am unähnlichsten und daher das am besten unterscheidbare Zeichen.
In diesem Beispiel haben wir also mehrere Male verschachtelt und gezeigt, wie man systematisch mit dem Konzept metrischer Räume arbeiten kann, um Komplexe zu verarbeiten und in Beziehung zu setzen Information. So lässt es sich auch mit einer einzigen Säule problemlos in unserem neuen Zuhause wohnen.
In einem späteren Blog werden wir dieses Konzept weiter untersuchen, indem wir uns die einmal ausgewählten Metriken ansehen. Wir werden auch zeigen, dass es möglich ist, Methoden aus dem klassischen maschinellen Lernen zu übertragen, wie beispielsweise einen metrischen Entscheidungsbaum, der mit beliebig komplexen und kombinierten Datenstrukturen anstelle einzelner numerischer Zahlen arbeitet.
