Ein großes Sprachmodell entwickeln (von Grund auf)

Wie man LLM-Attention-Mechanismen und Transformer im GPT-Stil implementiert.

In Build a Large Language Model (from Scratch) führt Sie der Bestsellerautor Sebastian Raschka Schritt für Schritt durch die Erstellung Ihres eigenen LLM. Jede Phase wird mit klarem Text, Diagrammen und Beispielen erklärt. Sie werden von der ersten Planung und Erstellung über das Pretraining an einem allgemeinen Korpus bis hin zum Fine-Tuning für spezifische Aufgaben geführt.

Build a Large Language Model (from Scratch) lehrt Sie, wie Sie: Alle Teile eines LLM planen und coden Einen Datensatz für das LLM-Training vorbereiten LLMs für die Textklassifizierung und mit Ihren eigenen Daten finetunen Menschliches Feedback nutzen, um sicherzustellen, dass Ihr LLM Anweisungen befolgt Vordertrainierte Gewichte in ein LLM laden
Build a Large Language Model (from Scratch) nimmt Sie in die Blackbox der KI, um an den internen Systemen zu tüfteln, die generative KI antreiben. Während Sie jede wichtige Phase der LLM-Erstellung durcharbeiten, entwickeln Sie ein tiefgreifendes Verständnis dafür, wie LLMs funktionieren, welche Einschränkungen sie haben und wie sie angepasst werden können. Ihr LLM kann auf einem gewöhnlichen Laptop entwickelt und als Ihr persönlicher Assistent genutzt werden.

Über die Technologie

Der Physiker Richard P. Feynman soll gesagt haben: „Ich verstehe nichts, was ich nicht bauen kann.“ Basierend auf genau diesem kraftvollen Prinzip führt Sie der Bestsellerautor Sebastian Raschka Schritt für Schritt durch den Bau eines LLM im GPT-Stil, das Sie auf Ihrem Laptop ausführen können. Dies ist ein fesselndes Buch, das jede Phase des Prozesses abdeckt, von der Planung und dem Codieren bis hin zum Training und Fine-Tuning.

Über das Buch

Build a Large Language Model (From Scratch) ist eine praktische und äußerst befriedigende, praxisnahe Reise in die Grundlagen der generativen KI. Ohne auf bestehende LLM-Bibliotheken zurückzugreifen, werden Sie ein Basismodell coden, es zu einem Textklassifikator weiterentwickeln und schließlich einen Chatbot erstellen, der Ihren Gesprächsanweisungen folgen kann. Und Sie werden es wirklich verstehen, weil Sie es selbst gebaut haben!

Was drin ist Planen und coden eines LLM, das mit GPT-2 vergleichbar ist Vordertrainierte Gewichte laden Eine vollständige Trainingspipeline erstellen Ihr LLM für die Textklassifizierung finetunen LLMs entwickeln, die menschlichen Anweisungen folgen
Über den Leser

Leser benötigen fortgeschrittene Python-Kenntnisse und Grundkenntnisse im Bereich Machine Learning. Das von Ihnen erstellte LLM läuft auf jedem modernen Laptop und kann optional GPUs nutzen.

Über den Autor

Sebastian Raschka ist Staff Research Engineer bei Lightning AI, wo er an LLM-Forschung arbeitet und Open-Source-Software entwickelt.

Der technische Redakteur dieses Buches war David Caswell .

Inhaltsverzeichnis

1 Verständnis großer Sprachmodelle
2 Arbeiten mit Textdaten
3 Codieren von Attention-Mechanismen
4 Implementierung eines GPT-Modells von Grund auf zur Textgenerierung
5 Pretraining an unbeschrifteten Daten
6 Fine-Tuning für Klassifizierung
7 Fine-Tuning zum Befolgen von Anweisungen
A Einführung in PyTorch
B Referenzen und weiterführende Literatur
C Übungslösungen
D Hinzufügen von Extras zur Trainingsschleife
E Parameter-effizientes Fine-Tuning mit LoRA