Einführung Neuronale Netze / Wordembedding / Attention

Dr. rer. nat. Sebastian Bader

BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader

Fragen auf die ich heute eingehen möchte

  • 🧠 Neuronale Netze (10 Minuten)
    • Woraus bestehen neuronale Netze?
    • Welche Arten von neuronalen Netzen gibt es?
  • 📝 Wordembeddings (10 Minuten)
    • Wie können Wörter als Vektoren repräsentiert werden?
    • Was können wir mit diesen Vektoren tun?
  • 👁️ Attention-Mechanismus (5 Minuten)
    • Wie können wir die Wichtigkeit zwischen Wörtern lernen?
  • 🧩 Sentence Embeddings (5 Minuten)
    • Wie können wir komplexere Dinge als Vektoren repräsentieren?
BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
🧠 Neuronale Netze

Agenda

  • 🧠 Neuronale Netze

  • 📝 Wordembeddings
  • 👁️ Attention-Mechanismus
  • 🧩 Sentence Embeddings
BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
🧠 Neuronale Netze

  • Zeichnung des visuellen Systems eines Sperlings
    Santiago Ramón y Cajal (1852-1934)

  • Eine kurze Geschichte

    • 350 v.Chr.: Das Gehirn ist dazu da das Blut zu kühlen (Aristoteles)
    • 1543: Grobe Struktur des Gehirns bekannt (Vesalius)
    • 1873: Detaillierte Beschreibung eines einzelnen Neurons (Golgi)
    • 1905: Beschreibung unterschiedlicher Verbindungsstrukturen
BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
🧠 Neuronale Netze

Woraus bestehen neuronale Netze?

Schematische Darstellung von Nervenzelle und Synapse

BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
🧠 Neuronale Netze

Mathematische Darstellung

  • Neuronen akkumulieren Eingaben oder Signale anderer Neuronen
  • Synapsenstärke wird als Gewicht zwischen den Neuronen und Bias dargestellt
BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
🧠 Neuronale Netze

Training neuronaler Netze

  • Eingaben werden durch das Netz verarbeitet
  • Der Unterschied zwischen den aktuellen Ausgaben und dem Ziel wird genutzt um Gewichte zu adaptieren
  • Nach erfolgreichem Training kann das Netz neue Eingaben auf korrekte Ausgaben abbilden
BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
🧠 Neuronale Netze

Neuronale Netze: Feed-Forward & Convolutional

BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
🧠 Neuronale Netze

Welche Arten von neuronalen Netzen gibt es?

  • Unterschiedliche Netzwerke unterscheiden sich bzgl. ihrer Architektur
    (Anzahl Neuronen & Verbindungsstruktur)

  • Einzelne Beispiele

    • Mehrschichtige vorwärtsgerichtete Netze
    • Recurrent Neural Networks
    • Convolutional Neural Networks
    • Autoencoder
    • ...

  • Unterschiedliche Netze werden auf ganz unterschiedliche Weise trainiert

BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
📝 Wordembeddings

Agenda

  • 🧠 Neuronale Netze

  • 📝 Wordembeddings

  • 👁️ Attention-Mechanismus
  • 🧩 Sentence Embeddings
BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
📝 Wordembeddings

Wie können Wörter als Vektoren repräsentiert werden?

  • Bilde jedes Wort auf eine Zahl ab
  • Dadurch werden Ähnlichkeiten zwischen Wörtern suggeriert, die nicht stimmen!
BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
📝 Wordembeddings

Wie können Wörter als Vektoren repräsentiert werden?

  • Bilde jedes Wort auf einen hochdimensionalen Vektor mit nur einer "1" ab
  • Bei 300.000 deutschen Wörtern ergeben 300.000-dimensionale Vektoren!
BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
📝 Wordembeddings

Wie können Wörter als Vektoren repräsentiert werden?

  • Bilde jedes Wort auf einen niedrigdimensionalen Vektor ab
  • Woher kommen diese Vektoren? Können wir sie lernen?
  • Können wir Vektoren so erzeugen, dass sie Ähnlichkeiten zwischen Wörtern kodieren?
BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
📝 Wordembeddings

Lernen von Wordembeddings

  • „You shall know a word by the company it keeps“ (John Rupert Firth, 1957)
  • Fensterung und Erlernen des Zusammenhang zwischen Wort und Kontext
BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
📝 Wordembeddings

Wordembeddings

  • Wikipediawörter
  • Wo gehört die Melone 🍉 hin?
    quadrantChart "🛵": [0.4, 0.7] "🚙": [0.3, 0.9] "🚃": [0.2, 0.8] "🦜": [0.8, 0.9] "🦤": [0.6, 0.8] "🐓": [0.7, 0.7] "🍎": [0.3, 0.2] "🍐": [0.2, 0.4] "🍌": [0.4, 0.3] "🏀": [0.75, 0.4] "⚾️": [0.64, 0.3] "🎾": [0.72, 0.2]
BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
📝 Wordembeddings


Vektormathematik

BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
📝 Wordembeddings


Vektormathematik

BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
📝 Wordembeddings

Analogien mit Embeddings

BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
👁️ Attention-Mechanismus

Agenda

  • 🧠 Neuronale Netze
  • 📝 Wordembeddings

  • 👁️ Attention-Mechanismus

  • 🧩 Sentence Embeddings
BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
👁️ Attention-Mechanismus

Attention is all you need

Artikel von der NeurIPS 2017
BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
👁️ Attention-Mechanismus

Intuition

Deep Learning with Python
(François Chollet, Manning 2021)
BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
👁️ Attention-Mechanismus

Intuition

Deep Learning with Python
(François Chollet, Manning 2021)
BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
🧩 Sentence Embeddings

Agenda

  • 🧠 Neuronale Netze
  • 📝 Wordembeddings
  • 👁️ Attention-Mechanismus

  • 🧩 Sentence Embeddings

BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
🧩 Sentence Embeddings

Sentence Transformer

BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader
🧩 Sentence Embeddings

Semantische Suche

  • Einbettung von 25.000 Artikeln der engl. Wikipedia
  • Einbettung einer Suchanfrage
  • Identifikation der ähnlichsten 5 Artikel bzgl. der Anfrage
    = Cosinus zwischen Vektoren
BIG Data - LLMs | 5.9.'24 | Dr. rer. nat. S. Bader

![](Gantt.png)