Formation NLP avec les Transformers – De BERT à GPT : Comprendre et appliquer

JOUR 1- Module 1 – Introduction aux Transformers et architecture (3h)

• •Limites des modèles NLP classiques (RNN, LSTM)
• •Principe de l’attention et self-attention
• •Architecture Transformer : encodeur / décodeur
• •Mécanisme de multi-head attention
• •Embeddings positionnels et pipeline global
• •Activité pratique : Étude guidée de l’architecture Transformer

Analyse d’un schéma complet et identification des composants clés

Implémentation simplifiée d’un bloc d’attention en Python

JOUR 1- Module 2 – Écosystème Hugging Face et premiers modèles (4h)

• •Présentation de Hugging Face Transformers et Hub
• •Chargement de modèles pré-entraînés
• •Tokenizers et pipelines NLP
• •Inférence avec modèles prêts à l’emploi
• •Activité pratique : Premiers tests avec Hugging Face

Utilisation de pipelines pour classification et génération

Comparaison de plusieurs modèles sur un même dataset

JOUR 2- Module 3 – BERT, RoBERTa, DistilBERT : principes et cas d’usage (3h)

• •Fonctionnement de BERT (masked language model)
• •Différences entre BERT, RoBERTa et DistilBERT
• •Cas d’usage : classification, NER, question answering
• •Choix du modèle selon contraintes (performance, coût)
• •Activité pratique : Exploration comparative de modèles

Test de BERT vs DistilBERT sur une tâche de classification

Analyse des performances et du temps d’inférence

JOUR 2- Module 4 – Fine-tuning de BERT sur données métier (4h)

• •Préparation des données (tokenisation, formatting)
• •Fine-tuning avec Trainer API
• •Gestion des hyperparamètres
• •Gestion des datasets déséquilibrés
• •Activité pratique : Classification de documents métier avec BERT

Fine-tuning d’un modèle BERT sur un dataset métier

Analyse des résultats et amélioration des performances

JOUR 3- Module 5 – Modèles génératifs : GPT et applications (3h)

• •Architecture GPT (modèle auto-régressif)
• •Différences BERT vs GPT (encodeur vs génératif)
• •Cas d’usage : génération de texte, résumé, chatbot
• •Prompt engineering (bases)
• •Activité pratique : Génération de texte avec GPT

Création de prompts pour différents cas métiers

Ajustement des paramètres (temperature, max tokens)

JOUR 3- Module 6 – Évaluation et industrialisation des modèles NLP (4h)

• •Métriques NLP : F1, précision, rappel
• •Métriques génération : BLEU, ROUGE, perplexité
• •Validation des modèles et biais
• •Bonnes pratiques de déploiement (API, batch, monitoring)
• •Activité pratique : Évaluation complète d’un modèle NLP

Calcul des métriques sur modèle fine-tuné

Interprétation des résultats et axes d’amélioration