Aus zufälligen Werten sollen gelernte Parameter werden
Im zwölften Teil konnte unser Modell bereits Logits für mögliche nächste Zeichen erzeugen. Seine Parameter waren aber zufällig initialisiert. Ein gelegentlich passendes Zeichen bewies deshalb noch kein Lernen.
Jetzt trainieren wir den selbst gebauten Transformer auf unserem kleinen Korpus. Wir zeigen, wie Eingaben und Zielzeichen zusammengehören, berechnen einen Trainings- und einen Validierungsverlust und speichern anschließend einen Checkpoint. Das Ergebnis bleibt ein winziges Lehrmodell, dessen Fähigkeiten durch die sehr wenigen und ähnlichen Texte begrenzt sind.
Praxistest: Das Training, das getrennte Speichern eines zweiten Checkpoints und der Überschreibschutz wurden in einer Linux-Mint-VM nachvollzogen und bestätigt. Die gezeigten Laufzeiten und Dateigrößen gelten für diesen konkreten Versuch.
Was ist bei einem Sprachmodell das Ziel?
In Teil 5 haben wir für ein Wort einen vorgegebenen Zielwert verwendet. Jetzt ist das Ziel an jeder Position das nächste Zeichen. Aus der Zeichenfolge katze entstehen beispielsweise:
Eingabe: k a t z
Ziel: a t z e
Eingabe: k a t z
Ziel: a t z e
Für jede der vier Eingabepositionen berechnet unser Modell Logits über das gesamte Zeichen-Vokabular. Der Zielwert ist jeweils die ID des tatsächlich folgenden Zeichens. Die kausale Maske aus Teil 10 verhindert, dass die Ausgabe einer Position spätere Eingabepositionen verwenden kann.
Bei einem Beispiel mit einer Folge und vier Positionen ergeben sich diese Formen:
Eingabe-IDs: (1, 4) ein Beispiel, vier Positionen
Logits: (1, 4, 18) pro Position ein Wert für jedes der 18 Zeichen
Ziel-IDs: (1, 4) pro Position die ID des nächsten Zeichens
Eingabe-IDs: (1, 4) ein Beispiel, vier Positionen
Logits: (1, 4, 18) pro Position ein Wert für jedes der 18 Zeichen
Ziel-IDs: (1, 4) pro Position die ID des nächsten Zeichens
Die 18 stammt aus dem Trainingsvokabular unseres Beispielkorpus. Ändert sich das Vokabular, ändert sich auch die letzte Dimension. Die IDs im Ziel sind keine Wahrscheinlichkeiten, sondern Nummern der richtigen Zeichen.
Was misst der Verlust?
In Teil 5 haben wir den quadratischen Fehler für eine Zahl verwendet. Für die nächste Zeichen-ID verwenden wir hier Cross-Entropy. Vereinfacht: Für jede Position bewertet sie, wie viel Wahrscheinlichkeit das Modell dem tatsächlichen nächsten Zeichen zuweist. Eine höhere Wahrscheinlichkeit für das richtige Zeichen bedeutet an dieser Position einen kleineren Verlust.
Beispiel: Wenn das tatsächliche nächste Zeichen die Modellwahrscheinlichkeit 0,5 erhält, ist der Einzelverlust -ln(0,5) ≈ 0,6931. Bei Wahrscheinlichkeit 0,1 wäre er -ln(0,1) ≈ 2,3026. Der Verlust ist keine Prozentzahl.
PyTorchs Cross-Entropy-Funktion bekommt Logits und Ziel-IDs, keine vorher selbst berechneten Softmax-Wahrscheinlichkeiten. Sie kombiniert die nötigen Berechnungen numerisch stabil und mittelt hier über die Positionen des jeweiligen Beispiels.
Das Ziel ist an jeder Position um ein Zeichen gegenüber der Eingabe verschoben.
- Eingabe und Ziele
Aus einer Textfolge zwei verschobene Folgen von Zeichen-IDs bilden
- Vorwärtslauf
Das Modell berechnet für jede Position Logits über das Vokabular.
- Cross-Entropy
Die Logits mit den tatsächlichen nächsten Zeichen-IDs vergleichen
- Backpropagation
Autograd berechnet Gradienten für die trainierbaren Modellparameter.
- Optimierer
Adam passt die Parameter anhand dieser Gradienten an.
Backpropagation und Optimierung sind dieselben Aufgaben wie in Teil 5. Neu ist unter anderem die Fehlerfunktion. Wir verwenden den Optimierer Adam aus PyTorch. Seine genaue Anpassungsregel ist komplexer als der einfache Gradientenabstieg aus Teil 5. Das Beispiel behandelt Adam als vorhandenes Werkzeug und setzt ihn nicht mit diesem einfachen Update gleich.
Training und Validierung sauber trennen
Wir verwenden den selbst geschriebenen Korpus aus Teil 7. textdaten.py aus Teil 8 teilt ihn bereits: Die ersten sechs Zeilen sind Training, die letzten zwei Validierung. Das Vokabular wird ausschließlich aus den Trainingszeilen erstellt.
Erst nach dieser Trennung bilden wir Beispiele. Wir teilen jede Zeile in kurze Stücke mit höchstens acht Eingabepositionen. Die jeweils um ein Zeichen verschobenen Ziele stammen aus derselben Zeile. Kein Beispiel überquert eine Zeilengrenze oder die Grenze zwischen Training und Validierung. An einem Stückanfang beginnt der verfügbare Kontext in diesem einfachen Trainingsprogramm neu.
Die Validierungsbeispiele berechnen wir ohne Parameterupdates. Ihre Zeilen ähneln den Trainingszeilen allerdings stark und enthalten gemeinsame Zeichenfolgen. Ein guter Validierungsverlust auf diesem winzigen Korpus ist deshalb kein belastbarer Beleg für allgemeines Sprachverständnis oder gute Generalisierung.
Das Training programmieren
Wir verwenden korpus.txt, textdaten.py, positionen.py, attention.py, transformer_block.py und sprachmodell.py aus den vorherigen Teilen. Öffne in der Linux-VM ein Terminal:
cd ~/eigene-ki
cd ~/eigene-ki
Wenn die Umgebung nicht automatisch aktiviert wird, aktiviere sie mit source .venv/bin/activate. PyTorch und NumPy wurden zuvor installiert. Für diesen Teil brauchen wir keine zusätzlichen Pakete.
Erstelle im Projektordner eine neue Datei sprachmodell_trainieren.py:
import argparse
import time
from pathlib import Path
import torch
from torch.nn import functional as F
from sprachmodell import Sprachmodell
from textdaten import lade_korpus, erstelle_vokabular, kodiere
SEED = 42
DIMENSION = 4
MAX_LAENGE = 16
FENSTER = 8
EPOCHEN = 200
LERNRATE = 0.01
def beispiele_aus_zeilen(text, zu_id, fenster):
if fenster < 1:
raise ValueError("Die Fensterlaenge muss positiv sein")
beispiele = []
for zeile in text.splitlines(keepends=True):
ids = kodiere(zeile, zu_id)
for start in range(0, len(ids) - 1, fenster):
ende = min(start + fenster, len(ids) - 1)
eingabe = ids[start:ende]
ziel = ids[start + 1:ende + 1]
if eingabe:
beispiele.append((eingabe, ziel))
if not beispiele:
raise ValueError("Keine Beispiele im Text gefunden")
return beispiele
def verlust_fuer_beispiel(modell, eingabe, ziel):
x = torch.tensor([eingabe], dtype=torch.long, device="cpu")
y = torch.tensor([ziel], dtype=torch.long, device="cpu")
logits = modell(x)
# Jede Position ist ein Beispiel fuer Cross-Entropy.
return F.cross_entropy(logits.reshape(-1, logits.shape[-1]), y.reshape(-1))
def auswerten(modell, beispiele):
modell.eval()
gewichteter_verlust = 0.0
zeichenanzahl = 0
with torch.no_grad():
for eingabe, ziel in beispiele:
verlust = verlust_fuer_beispiel(modell, eingabe, ziel)
gewichteter_verlust += verlust.item() * len(ziel)
zeichenanzahl += len(ziel)
return gewichteter_verlust / zeichenanzahl
def main():
parser = argparse.ArgumentParser()
parser.add_argument("--ausgabe", default="sprachmodell_checkpoint.pt")
parser.add_argument("--ueberschreiben", action="store_true")
args = parser.parse_args()
pfad = Path(args.ausgabe)
if pfad.exists() and not args.ueberschreiben:
raise SystemExit(f"{pfad} existiert bereits. Anderen Namen wählen oder "
"--ueberschreiben ausdrücklich angeben.")
if FENSTER > MAX_LAENGE:
raise ValueError("Das Trainingsfenster überschreitet max_laenge")
training, validierung = lade_korpus()
zeichen, zu_id = erstelle_vokabular(training)
train_beispiele = beispiele_aus_zeilen(training, zu_id, FENSTER)
valid_beispiele = beispiele_aus_zeilen(validierung, zu_id, FENSTER)
torch.set_num_threads(1)
torch.manual_seed(SEED)
modell = Sprachmodell(len(zeichen), dimension=DIMENSION, max_laenge=MAX_LAENGE)
optimierer = torch.optim.Adam(modell.parameters(), lr=LERNRATE)
print("PyTorch:", torch.__version__)
print("Geraet: CPU; Threads:", torch.get_num_threads())
print("Seed:", SEED, "Dimension:", DIMENSION, "Fenster:", FENSTER)
print("Trainingsbeispiele:", len(train_beispiele),
"Validierungsbeispiele:", len(valid_beispiele))
print("Trainierbare Parameter:", sum(p.numel() for p in modell.parameters()))
print(f"Vorher: Training={auswerten(modell, train_beispiele):.4f}, "
f"Validierung={auswerten(modell, valid_beispiele):.4f}")
start = time.perf_counter()
for epoche in range(1, EPOCHEN + 1):
modell.train()
for eingabe, ziel in train_beispiele:
optimierer.zero_grad()
verlust = verlust_fuer_beispiel(modell, eingabe, ziel)
verlust.backward()
optimierer.step()
if epoche % 50 == 0:
print(f"Epoche {epoche}: Training={auswerten(modell, train_beispiele):.4f}, "
f"Validierung={auswerten(modell, valid_beispiele):.4f}")
print(f"Trainingsdauer: {time.perf_counter() - start:.2f} Sekunden")
checkpoint = {
"format_version": 1,
"zeichen": zeichen,
"dimension": DIMENSION,
"max_laenge": MAX_LAENGE,
"fenster": FENSTER,
"state_dict": modell.state_dict(),
}
# Ohne ausdrueckliches --ueberschreiben keine vorhandene Datei ersetzen.
with pfad.open("wb" if args.ueberschreiben else "xb") as datei:
torch.save(checkpoint, datei)
print(f"Checkpoint: {pfad} ({pfad.stat().st_size} Bytes)")
if __name__ == "__main__":
main()
import argparse
import time
from pathlib import Path
import torch
from torch.nn import functional as F
from sprachmodell import Sprachmodell
from textdaten import lade_korpus, erstelle_vokabular, kodiere
SEED = 42
DIMENSION = 4
MAX_LAENGE = 16
FENSTER = 8
EPOCHEN = 200
LERNRATE = 0.01
def beispiele_aus_zeilen(text, zu_id, fenster):
if fenster < 1:
raise ValueError("Die Fensterlaenge muss positiv sein")
beispiele = []
for zeile in text.splitlines(keepends=True):
ids = kodiere(zeile, zu_id)
for start in range(0, len(ids) - 1, fenster):
ende = min(start + fenster, len(ids) - 1)
eingabe = ids[start:ende]
ziel = ids[start + 1:ende + 1]
if eingabe:
beispiele.append((eingabe, ziel))
if not beispiele:
raise ValueError("Keine Beispiele im Text gefunden")
return beispiele
def verlust_fuer_beispiel(modell, eingabe, ziel):
x = torch.tensor([eingabe], dtype=torch.long, device="cpu")
y = torch.tensor([ziel], dtype=torch.long, device="cpu")
logits = modell(x)
# Jede Position ist ein Beispiel fuer Cross-Entropy.
return F.cross_entropy(logits.reshape(-1, logits.shape[-1]), y.reshape(-1))
def auswerten(modell, beispiele):
modell.eval()
gewichteter_verlust = 0.0
zeichenanzahl = 0
with torch.no_grad():
for eingabe, ziel in beispiele:
verlust = verlust_fuer_beispiel(modell, eingabe, ziel)
gewichteter_verlust += verlust.item() * len(ziel)
zeichenanzahl += len(ziel)
return gewichteter_verlust / zeichenanzahl
def main():
parser = argparse.ArgumentParser()
parser.add_argument("--ausgabe", default="sprachmodell_checkpoint.pt")
parser.add_argument("--ueberschreiben", action="store_true")
args = parser.parse_args()
pfad = Path(args.ausgabe)
if pfad.exists() and not args.ueberschreiben:
raise SystemExit(f"{pfad} existiert bereits. Anderen Namen wählen oder "
"--ueberschreiben ausdrücklich angeben.")
if FENSTER > MAX_LAENGE:
raise ValueError("Das Trainingsfenster überschreitet max_laenge")
training, validierung = lade_korpus()
zeichen, zu_id = erstelle_vokabular(training)
train_beispiele = beispiele_aus_zeilen(training, zu_id, FENSTER)
valid_beispiele = beispiele_aus_zeilen(validierung, zu_id, FENSTER)
torch.set_num_threads(1)
torch.manual_seed(SEED)
modell = Sprachmodell(len(zeichen), dimension=DIMENSION, max_laenge=MAX_LAENGE)
optimierer = torch.optim.Adam(modell.parameters(), lr=LERNRATE)
print("PyTorch:", torch.__version__)
print("Geraet: CPU; Threads:", torch.get_num_threads())
print("Seed:", SEED, "Dimension:", DIMENSION, "Fenster:", FENSTER)
print("Trainingsbeispiele:", len(train_beispiele),
"Validierungsbeispiele:", len(valid_beispiele))
print("Trainierbare Parameter:", sum(p.numel() for p in modell.parameters()))
print(f"Vorher: Training={auswerten(modell, train_beispiele):.4f}, "
f"Validierung={auswerten(modell, valid_beispiele):.4f}")
start = time.perf_counter()
for epoche in range(1, EPOCHEN + 1):
modell.train()
for eingabe, ziel in train_beispiele:
optimierer.zero_grad()
verlust = verlust_fuer_beispiel(modell, eingabe, ziel)
verlust.backward()
optimierer.step()
if epoche % 50 == 0:
print(f"Epoche {epoche}: Training={auswerten(modell, train_beispiele):.4f}, "
f"Validierung={auswerten(modell, valid_beispiele):.4f}")
print(f"Trainingsdauer: {time.perf_counter() - start:.2f} Sekunden")
checkpoint = {
"format_version": 1,
"zeichen": zeichen,
"dimension": DIMENSION,
"max_laenge": MAX_LAENGE,
"fenster": FENSTER,
"state_dict": modell.state_dict(),
}
# Ohne ausdrueckliches --ueberschreiben keine vorhandene Datei ersetzen.
with pfad.open("wb" if args.ueberschreiben else "xb") as datei:
torch.save(checkpoint, datei)
print(f"Checkpoint: {pfad} ({pfad.stat().st_size} Bytes)")
if __name__ == "__main__":
main()
Eine Epoche bedeutet hier einen Durchlauf durch alle Trainingsfenster. Für jedes Fenster werden Gradienten zurückgesetzt, der Verlust berechnet und die Parameter einmal aktualisiert. Ein Trainingsschritt verarbeitet in diesem Beispiel jeweils ein Fenster. Die Reihenfolge ist fest, wir mischen die Daten hier nicht.
auswerten() mittelt den Verlust gewichtet nach der Anzahl der Zielzeichen. Dadurch zählen kürzere Fenster entsprechend ihrer tatsächlichen Länge. modell.eval() und torch.no_grad() sorgen dafür, dass die Auswertung ohne Gradientenaufzeichnung stattfindet. Vor jedem nächsten Trainingsdurchlauf schalten wir mit modell.train() zurück.
Der Seed und die feste Datenreihenfolge helfen bei der Wiederholung. Ein Seed garantiert laut PyTorch-Dokumentation keine identischen Ergebnisse über alle Versionen und Plattformen. Wir beschränken diesen Versuch bewusst auf die CPU und einen PyTorch-Thread. Der konkrete Ressourcenbedarf hängt trotzdem von der VM ab.
Training starten
Prüfe zuerst, ob im Projektordner schon eine Datei sprachmodell_checkpoint.pt existiert. Das Programm überschreibt eine vorhandene Datei nicht ohne ausdrückliche Option. Starte dann:
python sprachmodell_trainieren.py
python sprachmodell_trainieren.py
Das Programm gibt PyTorch-Version, Seed, Dimension, Fensterlänge, Anzahl der Beispiele und Parameter sowie Trainings- und Validierungsverlust vor dem Training aus. Alle 50 Epochen folgen neue Messwerte. Am Ende zeigt es die Trainingsdauer und Größe des Checkpoints.
Ein Testlauf in einer Linux-Mint-VM mit PyTorch 2.9.1+cpu ergab beispielsweise:
Trainingsbeispiele: 14 Validierungsbeispiele: 5
Trainierbare Parameter: 438
Vorher: Training=3.1700, Validierung=3.1090
Epoche 50: Training=0.3631, Validierung=1.0058
Epoche 100: Training=0.1597, Validierung=1.5066
Epoche 150: Training=0.1531, Validierung=1.2147
Epoche 200: Training=0.1125, Validierung=1.6698
Trainingsdauer: 2.97 Sekunden
Checkpoint: sprachmodell_checkpoint.pt (7350 Bytes)
Trainingsbeispiele: 14 Validierungsbeispiele: 5
Trainierbare Parameter: 438
Vorher: Training=3.1700, Validierung=3.1090
Epoche 50: Training=0.3631, Validierung=1.0058
Epoche 100: Training=0.1597, Validierung=1.5066
Epoche 150: Training=0.1531, Validierung=1.2147
Epoche 200: Training=0.1125, Validierung=1.6698
Trainingsdauer: 2.97 Sekunden
Checkpoint: sprachmodell_checkpoint.pt (7350 Bytes)
Werte, Laufzeit und Dateigröße können auf anderen Systemen abweichen. Die gezeigte Dauer stammt aus dem konkreten Testlauf und ist keine allgemeine Leistungsangabe.
Beachte beide Verlustkurven. Im gezeigten Beispiel sank der Trainingsverlust insgesamt, während der Validierungsverlust nach Epoche 50 schwankte und am Ende höher lag. Das kann auf Überanpassung hindeuten. Bei unserem sehr kleinen, stark ähnlichen Korpus lässt sich daraus aber nur eingeschränkt auf Verhalten bei neuen Texten schließen. Das Beispiel speichert bewusst den Stand nach der letzten Epoche, nicht automatisch den Stand mit dem besten Validierungsverlust.
Der Checkpoint enthält state_dict, die geordnete Zeichenliste und die Modellkonfiguration. Damit können wir im nächsten Teil dieselbe Architektur mit denselben IDs wiederherstellen. PyTorch-Checkpoint-Dateien sollten nur aus vertrauenswürdigen Quellen geladen werden. Das spätere Beispiel verwendet außerdem weights_only=True, soweit es von der eingerichteten PyTorch-Version unterstützt wird.
Selbst überprüfen
Die folgenden Schritte setzt du nach dem ersten erfolgreichen Trainingslauf im selben Terminal und Projektordner um. Dein erster Checkpoint heißt sprachmodell_checkpoint.pt und bleibt dabei erhalten.
1. Den ersten Checkpoint ansehen
Gib diesen Befehl ein und drücke die Eingabetaste:
ls -lh sprachmodell_checkpoint.pt
ls -lh sprachmodell_checkpoint.pt
Die Ausgabe sollte eine Zeile mit Dateigröße und dem Namen sprachmodell_checkpoint.pt enthalten, beispielsweise:
-rw-r--r-- 1 axel axel 7,2K Nov 15 10:00 sprachmodell_checkpoint.pt
-rw-r--r-- 1 axel axel 7,2K Nov 15 10:00 sprachmodell_checkpoint.pt
Benutzername, Datum und Größe können bei dir anders aussehen. Wenn stattdessen „Datei oder Verzeichnis nicht gefunden“ erscheint, prüfe mit pwd, ob du in ~/eigene-ki bist, und ob der erste Trainingslauf erfolgreich abgeschlossen wurde.
2. Das Training ein zweites Mal ausführen
Prüfe zuerst, ob die Datei für den zweiten Versuch bereits existiert:
ls -l versuch-zwei.pt
ls -l versuch-zwei.pt
Wenn die Datei nicht existiert, meldet ls „Datei oder Verzeichnis nicht gefunden“. Das ist an dieser Stelle in Ordnung. Falls sie schon existiert, verwende im folgenden Befehl stattdessen einen anderen noch freien Namen, etwa versuch-drei.pt, und verwende denselben Namen auch in Schritt 3.
Starte jetzt das Training mit dem Namen für den zweiten Checkpoint:
python sprachmodell_trainieren.py --ausgabe versuch-zwei.pt
python sprachmodell_trainieren.py --ausgabe versuch-zwei.pt
Das Programm führt das Training erneut aus und zeigt wieder die Zeilen Vorher sowie Epoche 50 bis Epoche 200. Vergleiche diese Verlustwerte mit den Zeilen des ersten Laufs, die noch weiter oben in deinem Terminal stehen. Bei denselben Versionen und Bedingungen sollten sie gut übereinstimmen. Die angezeigte Dauer darf abweichen.
Prüfe anschließend, dass beide Dateien vorhanden sind:
ls -lh sprachmodell_checkpoint.pt versuch-zwei.pt
ls -lh sprachmodell_checkpoint.pt versuch-zwei.pt
Du solltest zwei Zeilen sehen, eine für jeden Dateinamen. Dein erster Checkpoint wurde nicht ersetzt.
Im VM-Test waren die Verlustwerte beider Läufe identisch. Die gemessenen Trainingszeiten betrugen 2,97 beziehungsweise 3,11 Sekunden, beide Dateien belegten jeweils 7350 Bytes. Das sind Beobachtungen dieses einen Systems, keine allgemeinen Anforderungen.
3. Den Überschreibschutz prüfen
Gib denselben Befehl für den zweiten Checkpoint noch einmal ein:
python sprachmodell_trainieren.py --ausgabe versuch-zwei.pt
python sprachmodell_trainieren.py --ausgabe versuch-zwei.pt
Diesmal sollte sofort eine Meldung erscheinen, die mit versuch-zwei.pt existiert bereits beginnt. Das Programm bricht vor einem neuen Trainingslauf ab und verändert die Datei nicht. Eine Fehlermeldung an dieser Stelle ist also das erwartete Ergebnis.
Für diese Prüfung gibst du nicht --ueberschreiben an. Diese Option wäre nur dann nötig, wenn du eine vorhandene Datei bewusst ersetzen möchtest. Wenn du in Schritt 2 einen anderen Namen gewählt hast, verwende auch hier diesen Namen.
Bei ModuleNotFoundError prüfe die Dateien aus den vorherigen Teilen und die aktive Python-Umgebung. Bei einem Fehler über unbekannte Zeichen vergleiche korpus.txt mit Teil 7. Bei einem Längenfehler prüfe FENSTER und MAX_LAENGE. Wenn die Ausgabe unerwartet ist, halte PyTorch-Version, Seed, Einstellungen und vollständige Fehlermeldung fest, bevor du Parameter änderst.
Wie geht es weiter?
Der Checkpoint enthält jetzt einen tatsächlich trainierten Satz Parameter. Im letzten Teil laden wir ihn in einem neuen Programmlauf, prüfen die Zuordnung der Zeichen und erzeugen Zeichen für Zeichen eine Fortsetzung. Erst dieser vollständige Ablauf zeigt, was unser kleines Modell nach dem Training praktisch leisten kann.