Semaine 05 — Traitement automatique des langues
Module 5 : prétraitement du texte, plongements lexicaux, transformeurs, fine-tuning de la famille BERT, TAL multilingue et à faibles ressources avec une attention particulière aux langues africaines.
Des méthodes classiques conscientes de la linguistique au pipeline de l'ère transformer.
Livrable de la semaine
Pack de trois livrables : un classifieur de sentiment (baseline logistique + DistilBERT), un tagger NER sur un jeu de données multilingue incluant une langue africaine, et un modèle de résumé fine-tuné.
| Échéance | Vendredi 18h00 (Africa/Lagos (UTC+1)) |
|---|---|
| Soumission | Déposer l'URL du dépôt dans le canal hebdomadaire de la cohorte. Le binôme de revue par les pairs est annoncé le lundi de la semaine suivante. |
| Grille | Validé / à reprendre. La validation exige une CI au vert, des tests couvrant l'API publique, et un README qu'un inconnu peut suivre pour installer et exécuter le code. |
Sessions en direct et ateliers
Cadence hebdomadaire par défaut ci-dessous. Les dates spécifiques à la cohorte et les liens Zoom sont ajoutés à l'inscription.
| Jour | Horaire | Bloc | Enregistrement |
|---|---|---|---|
| Mon | 09:00-12:00 | Cours en direct + code-along | (après la session) |
| Mon | 14:00-16:00 | Travail de lab en autonomie + permanences assistants | (après la session) |
| Tue | 09:00-12:00 | Cours en direct + code-along | (après la session) |
| Tue | 14:00-16:00 | Travail de lab en autonomie + permanences assistants | (après la session) |
| Wed | 09:00-12:00 | Cours en direct + code-along | (après la session) |
| Wed | 14:00-16:00 | Travail de lab en autonomie + permanences assistants | (après la session) |
| Thu | 09:00-12:00 | Cours en direct + code-along | (après la session) |
| Thu | 14:00-16:00 | Travail de lab en autonomie + permanences assistants | (après la session) |
| Fri | 10:00-11:00 | Intervenant de l'industrie | (après la session) |
| Fri | 11:30-12:30 | Revue de lab | (après la session) |
| Fri | 14:00-15:00 | Rétrospective de cohorte | (après la session) |
Objectifs d'apprentissage
À l'issue de la semaine, chaque participant saura :
- Construire un pipeline fonctionnel de classification de texte (nettoyage, tokenisation, vectorisation, entraînement, évaluation).
- Fine-tuner un transformer pré-entraîné sur une tâche de domaine spécifique.
- Appliquer le NLP à un cadre multilingue ou à faibles ressources (avec attention aux langues africaines).
- Comprendre les limites : hallucination, biais, difficulté d’évaluation.
Sujets abordés
Prétraitement et tokenisation du texte (BPE, WordPiece) · plongements de mots (Word2Vec, GloVe, FastText) · modèles séquentiels (RNN, LSTM, GRU) · l’architecture Transformer · modèles de la famille BERT et fine-tuning · NER, sentiment, classification, résumé · NLP multilingue et à faibles ressources · évaluation : BLEU, ROUGE, exact match, évaluation humaine.
Ateliers
Atelier 1 — Du baseline à BERT pour le sentiment
Deux pipelines sur le même corpus d’avis clients : une baseline TF-IDF + logistique et un DistilBERT fine-tuné. Reporter l’accuracy, le macro F1, et la matrice de confusion par classe.
Jeu de données : Avis Amazon multilingues (HuggingFace `amazon_reviews_multi`, avec splits français et anglais).
Atelier 2 — NER multilingue
Entraîner une tête de classification de tokens sur un jeu de données multilingue incluant au moins une langue africaine. Reporter le F1 par langue.
Jeu de données : MasakhaNER 2.0 (Wolof, Yoruba, Swahili, Hausa, en plus du français et de l'anglais).
Atelier 3 — Résumé fine-tuné
Fine-tuner un T5-base ou BART-base sur un corpus de résumé d’actualités. Évaluer par ROUGE-L et par une rubrique d’évaluation humaine de 50 exemples que vous concevez.
Jeu de données : XSum ou CNN/DailyMail (baseline anglophone).
Lectures
Obligatoires
- Avant Mardi. Jurafsky et Martin, *Speech and Language Processing* (3e brouillon), chapitres 6-9 (sémantique vectorielle, LM neuronaux, RNN, transformer)
- Avant Mercredi. Vaswani et al., *Attention Is All You Need* (NeurIPS 2017)
- Avant Jeudi. HuggingFace NLP Course, chapitres 1-3 (fine-tuning d'un modèle pré-entraîné)