Ein großes Sprachmodell entwickeln (von Grund auf)

So implementieren Sie LLM-Aufmerksamkeitsmechanismen und Transformer im GPT-Stil.

In „Build a Large Language Model (from Scratch)“ führt Bestsellerautor Sebastian Raschka Sie Schritt für Schritt durch die Erstellung Ihres eigenen LLM. Jede Phase wird mit klarem Text, Diagrammen und Beispielen erläutert. Sie beginnen mit dem ersten Entwurf und der Erstellung, über das Vortraining an einem allgemeinen Korpus bis hin zum Fine-Tuning für bestimmte Aufgaben.

„Build a Large Language Model (from Scratch)“ lehrt Sie, wie Sie: Alle Teile eines LLM planen und programmieren Ein für das LLM-Training geeignetes Dataset vorbereiten LLMs für die Textklassifizierung und mit Ihren eigenen Daten fine-tunen Menschliches Feedback nutzen, um sicherzustellen, dass Ihr LLM Anweisungen befolgt Vortrainierte Gewichte in ein LLM laden
„Build a Large Language Model (from Scratch)“ nimmt Sie mit in die Blackbox der KI, um an den internen Systemen zu basteln, die generative KI antreiben. Während Sie jede wichtige Phase der LLM-Erstellung durchlaufen, entwickeln Sie ein tiefgreifendes Verständnis dafür, wie LLMs funktionieren, welche Einschränkungen sie haben und welche Anpassungsmethoden es gibt. Ihr LLM kann auf einem gewöhnlichen Laptop entwickelt und als Ihr persönlicher Assistent verwendet werden.

Über die Technologie

Der Physiker Richard P. Feynman soll gesagt haben: „Ich verstehe nichts, was ich nicht bauen kann.“ Basierend auf diesem mächtigen Prinzip führt Bestsellerautor Sebastian Raschka Sie Schritt für Schritt durch den Bau eines LLM im GPT-Stil, das Sie auf Ihrem Laptop ausführen können. Dies ist ein fesselndes Buch, das jede Phase des Prozesses abdeckt, von der Planung und Codierung bis zum Training und Fine-Tuning.

Über das Buch

„Build a Large Language Model (From Scratch)“ ist eine praktische und äußerst befriedigende Reise in die Grundlagen der generativen KI. Ohne auf bestehende LLM-Bibliotheken zurückzugreifen, programmieren Sie ein Basismodell, entwickeln es zu einem Textklassifikator und erstellen schließlich einen Chatbot, der Ihren Gesprächsanweisungen folgen kann. Und Sie werden es wirklich verstehen, weil Sie es selbst gebaut haben!

Was Sie erwartet: Ein LLM planen und programmieren, das mit GPT-2 vergleichbar ist Vortrainierte Gewichte laden Eine komplette Trainingspipeline konstruieren Ihr LLM für die Textklassifizierung fine-tunen LLMs entwickeln, die menschlichen Anweisungen folgen
Über den Leser

Leser benötigen fortgeschrittene Python-Kenntnisse und etwas Wissen über maschinelles Lernen. Das von Ihnen erstellte LLM läuft auf jedem modernen Laptop und kann optional GPUs nutzen.

Über den Autor

Sebastian Raschka ist Staff Research Engineer bei Lightning AI, wo er an der LLM-Forschung arbeitet und Open-Source-Software entwickelt.

Technischer Redakteur dieses Buches war David Caswell.

Inhaltsverzeichnis

1 Große Sprachmodelle verstehen
2 Mit Textdaten arbeiten
3 Aufmerksamkeitsmechanismen programmieren
4 Ein GPT-Modell von Grund auf implementieren, um Text zu generieren
5 Vortraining mit unbeschrifteten Daten
6 Fine-Tuning für die Klassifizierung
7 Fine-Tuning zur Befolgung von Anweisungen
A Einführung in PyTorch
B Referenzen und weiterführende Literatur
C Übungslösungen
D Zusätzliche Funktionen zum Trainingsloop hinzufügen
E Parameter-effizientes Fine-Tuning mit LoRA