Fine-tuning de LLM — Adapter un modèle à vos données métier - Avancé

Maîtriser les techniques avancées de spécialisation des grands modèles de langage open-source afin d’adapter un LLM à un domaine métier spécifique. La formation permet de construire un pipeline complet de fine-tuning incluant la sélection du modèle, la préparation des données, l’entraînement avec les méthodes PEFT (LoRA, QLoRA), l’évaluation des performances et le déploiement d’un modèle spécialisé.

• Comprendre les architectures et limites des principaux LLM open-source
• Choisir une stratégie d’adaptation adaptée à un cas d’usage métier
• Préparer un dataset d’entraînement pour un LLM spécialisé
• Mettre en œuvre un fine-tuning avec Hugging Face Transformers et PEFT
• Utiliser les techniques LoRA et QLoRA pour optimiser l’entraînement
• Évaluer les performances d’un modèle fine-tuné
• Déployer un modèle spécialisé dans un environnement applicatif