Domänenspezifische kleine Sprachmodelle: Effiziente KI für den lokalen Einsatz

Sie erhalten das eBook kostenlos, wenn Sie Ihr gedrucktes Buch bei Manning registrieren.

Wenn ein Sprachmodell genaue und schnelle Antworten zu einem bestimmten Wissensgebiet liefern soll, kann die ausufernde Kapazität eines LLM mehr schaden als nützen. Dieses Buch zeigt Ihnen, wie Sie generative KI-Modelle entwickeln, die für spezifische Bereiche optimiert sind.

Perfekt für kosten- oder hardwarebeschränkte Umgebungen: Kleine Sprachmodelle (SLMs) werden mit domänenspezifischen Daten trainiert, um hochwertige Ergebnisse bei spezifischen Aufgaben zu erzielen. In diesem Buch entwickeln Sie SLMs, die alles von Python-Code bis hin zu Proteinstrukturen und Antikörpersequenzen generieren können – und das alles auf handelsüblicher Hardware.

In „Domain-Specific Small Language Models“ entdecken Sie:

• Best Practices für die Modellgrößenbestimmung
• Open-Source-Bibliotheken, Frameworks, Dienstprogramme und Laufzeiten
• Feinabstimmungstechniken für benutzerdefinierte Datensätze
• Hugging Face's Bibliotheken für SLMs
• Ausführung von SLMs auf handelsüblicher Hardware
• Modelloptimierung oder Quantisierung

Vorwort von Matthew R. Versaggi.

Über die Technologie

Sprachmodelle mit geringem Speicherbedarf, die mit benutzerdefinierten Datensätzen trainiert und lokal gehostet werden, können in Bezug auf Geschwindigkeit und Genauigkeit ebenso gut abschneiden wie große Generalistenmodelle, oft zu einem Bruchteil der Kosten. „Domain-Specific Small Language Models“ zeigt Ihnen, wie Sie datenschutzkonforme und regulierungskonforme SLMs für agentische Systeme, spezialisierte Anwendungen und die Bereitstellung am Edge erstellen.

Über das Buch

Dies ist ein praktisches Buch, das Ihnen zeigt, wie Sie vortrainierte Open-Source-Modelle mithilfe von Transfer Learning und parameter-effizienter Feinabstimmung an Ihre Domäne anpassen. Sie lernen, Kosten durch Optimierung und Quantisierung zu minimieren, sichere APIs für Ihre Modelle zu entwickeln und SLMs auf handelsüblicher Hardware – einschließlich kleiner Geräte – bereitzustellen. Die praktischen Beispiele umfassen die Integration von SLMs in RAG-Systeme und agentische Workflows.

Was Sie erwartet

• ONNX und andere Quantisierungsmethoden
• Integration von SLMs in End-to-End-Anwendungen
• Bereitstellung von SLMs auf Laptops, Smartphones und anderen Geräten

Über den Leser

Für KI-Ingenieure mit Python-Kenntnissen.

Über den Autor

Guglielmo Iozzia ist Director of AI and Applied Mathematics bei Merck & Co. und ein Distinguished Member der American Society for Artificial Intelligence. Er ist spezialisiert auf biomedizinische KI-Anwendungen.

Der technische Redakteur dieses Buches war Riccardo Mattivi.

Inhaltsverzeichnis

Teil 1
1 Kleine Sprachmodelle
Teil 2
2 Feinabstimmung für eine spezifische Domäne
3 End-to-End Transformer-Feinabstimmung
4 Inferenz ausführen
5 ONNX erkunden
6 Quantisierung für Ihre Produktionsumgebung
Teil 3
7 Python-Code generieren
8 Proteinstrukturen generieren
Teil 4
9 Fortgeschrittene Quantisierungstechniken
10 Profiling-Einblicke
11 Bereitstellung und Serving
12 Ausführung auf Ihrem Laptop
13 Erstellung von End-to-End LLM-Anwendungen
14 Fortgeschrittene Komponenten für LLM-Anwendungen
15 Testzeit-Berechnung und kleine Sprachmodelle