Systèmes d'IA distribués : Un guide pratique pour construire des systèmes évolutifs d'entraînement, d'inférence et de mise en production d'IA

Apprenez l'IA distribuée grâce à une expérience pratique avec des frameworks d'entraînement, des moteurs d'inférence et des outils d'orchestration pour construire des systèmes d'entraînement, d'inférence et de service prêts pour la production pour l'IA moderne à grande échelle.

Gratuit avec votre livre : version PDF sans DRM + accès au lecteur nouvelle génération de Packt*

Caractéristiques principales Comprendre le matériel GPU, les interconnexions à haut débit et les stratégies de parallélisme Exercices pratiques à la fin de chaque chapitre Apprendre l'entraînement distribué avec des techniques optimisées en ressources Déployer une inférence haute performance avec une optimisation avancée et la gestion de la mémoire Construire des piles de service de production avec des ordonnanceurs de tâches, l'orchestration et l'observabilité Description du livre Alors que les modèles d'IA atteignent des milliards et des trillions de paramètres, les systèmes distribués sont essentiels pour les entraîner et les servir. De nombreuses ressources couvrent des fragments de ce domaine, mais aucune ne fournit un chemin complet depuis l'entraînement distribué jusqu'à l'inférence et le déploiement en production. Ce livre comble cette lacune avec des exemples pratiques axés sur la production.

Il commence par l'estimation du GPU et de la mémoire, la préparation des données et un aperçu de l'architecture GPU, des interconnexions et des stratégies de parallélisme de base. Vous apprendrez des techniques d'entraînement, notamment le parallélisme de données pour les configurations à un ou plusieurs nœuds, le partitionnement de paramètres pour une mise à l'échelle économe en mémoire et des méthodes pour réduire l'utilisation de la mémoire dans les grands modèles.

La section suivante couvre l'inférence distribuée et le déploiement. Vous construirez des systèmes haute performance en utilisant une attention optimisée, la mise en cache, la fusion d'opérateurs et des conceptions basées sur des routeurs. Vous déploierez sur des ordonnanceurs et des plateformes de conteneurs avec une orchestration sensible au GPU et assemblerez des piles de production mettant l'accent sur la fiabilité, l'évolutivité et l'observabilité.

La dernière section couvre l'analyse comparative, l'optimisation des performances et les tendances comme les modèles MoE, la coordination edge-cloud et le parallélisme avancé. Chaque chapitre comprend du code testé et des conseils de débogage.

À la fin, vous serez en mesure de construire des systèmes d'IA distribués qui évoluent d'un seul GPU à de grands clusters.

Ce que vous apprendrez Estimer la mémoire et les exigences de calcul pour l'entraînement et l'inférence Comprendre le matériel GPU, les interconnexions et les stratégies de parallélisme Implémenter l'entraînement distribué avec des techniques parallèles et partitionnées Construire des systèmes d'inférence de production avec le batching et la gestion de la mémoire Déployer via l'orchestration de cluster avec une planification GPU optimisée Créer des piles de service de production avec le routage et l'observabilité Évaluer les systèmes distribués en utilisant des méthodologies standard de l'industrie Explorer les tendances émergentes des modèles, les stratégies de mise à l'échelle et les chemins futurs À qui s'adresse ce livre Ce livre est conçu pour les ingénieurs ML, les chercheurs en IA et les professionnels DevOps qui ont besoin d'entraîner ou de servir de grands modèles d'IA à l'échelle. Les ingénieurs de plate-forme, les administrateurs de clusters HPC et les architectes cloud le trouveront également précieux pour améliorer leurs compétences.

Une compréhension de base de Python et PyTorch est requise pour commencer. Une expérience préalable des systèmes distribués, des ordonnanceurs de cluster ou de l'orchestration de conteneurs est utile mais pas nécessaire - le livre introduit ces concepts depuis le début, en commençant par l'estimation des ressources, la préparation des données et les fondamentaux matériels.

Table des matières Introduction à l'IA distribuée moderne Matériel GPU, réseau et stratégies de parallélisme Entraînement distribué avec PyTorch DDP Mise à l'échelle avec Fully Sharded Data Parallel (FSDP) Au-delà du partitionnement d'état avec DeepSpeed et Megatron Inférence distribuée et vLLM Optimisation inter-requêtes avec SGLang (N.B. Veuillez utiliser l'option Lire l'échantillon pour voir les chapitres suivants)