Créer un grand modèle linguistique (à partir de zéro)

Comment implémenter les mécanismes d'attention LLM et les transformeurs de style GPT.

Dans Construire un grand modèle linguistique (à partir de zéro), l'auteur à succès Sebastian Raschka vous guide pas à pas dans la création de votre propre LLM. Chaque étape est expliquée avec un texte clair, des diagrammes et des exemples. Vous passerez de la conception et de la création initiales au pré-entraînement sur un corpus général, puis au réglage fin pour des tâches spécifiques.

Construire un grand modèle linguistique (à partir de zéro) vous apprend comment : Planifier et coder toutes les parties d'un LLM Préparer un ensemble de données adapté à l'entraînement du LLM Affiner les LLM pour la classification de texte et avec vos propres données Utiliser le retour humain pour s'assurer que votre LLM suit les instructions Charger des poids pré-entraînés dans un LLM
Construire un grand modèle linguistique (à partir de zéro) vous emmène à l'intérieur de la boîte noire de l'IA pour bricoler les systèmes internes qui alimentent l'IA générative. Au fur et à mesure que vous parcourez chaque étape clé de la création d'un LLM, vous développerez une compréhension approfondie du fonctionnement des LLM, de leurs limites et de leurs méthodes de personnalisation. Votre LLM peut être développé sur un ordinateur portable ordinaire et utilisé comme votre propre assistant personnel.

À propos de la technologie

Le physicien Richard P. Feynman aurait dit : « Je ne comprends rien que je ne puisse construire. » Basé sur ce même principe puissant, l'auteur à succès Sebastian Raschka vous guide pas à pas pendant que vous construisez un LLM de style GPT que vous pouvez exécuter sur votre ordinateur portable. C'est un livre captivant qui couvre chaque étape du processus, de la planification et du codage à l'entraînement et au réglage fin.

À propos du livre

Construire un grand modèle linguistique (à partir de zéro) est un voyage pratique et éminemment satisfaisant dans les fondements de l'IA générative. Sans s'appuyer sur des bibliothèques LLM existantes, vous coderez un modèle de base, le ferez évoluer vers un classificateur de texte et créerez finalement un chatbot capable de suivre vos instructions conversationnelles. Et vous le comprendrez vraiment parce que vous l'avez construit vous-même !

Ce qu'il contient Planifier et coder un LLM comparable à GPT-2 Charger des poids pré-entraînés Construire un pipeline d'entraînement complet Affiner votre LLM pour la classification de texte Développer des LLM qui suivent les instructions humaines
À propos du lecteur

Les lecteurs doivent avoir des compétences intermédiaires en Python et quelques connaissances en apprentissage automatique. Le LLM que vous créerez fonctionnera sur n'importe quel ordinateur portable moderne et pourra éventuellement utiliser des GPU.

À propos de l'auteur

Sebastian Raschka est ingénieur de recherche chez Lightning AI, où il travaille sur la recherche LLM et développe des logiciels open source.

L'éditeur technique de ce livre était David Caswell.

Table des matières

1 Comprendre les grands modèles linguistiques
2 Travailler avec des données textuelles
3 Coder les mécanismes d'attention
4 Implémenter un modèle GPT à partir de zéro pour générer du texte
5 Pré-entraînement sur des données non étiquetées
6 Réglage fin pour la classification
7 Réglage fin pour suivre les instructions
A Introduction à PyTorch
B Références et lectures complémentaires
C Solutions d'exercices
D Ajouter des fioritures à la boucle d'entraînement
E Réglage fin efficace en paramètres avec LoRA