Techniques modernes de tokenisation pour l'IA et les LLMs

Aperçu

This course covers tokenization techniques used in modern AI models, including rule-based methods, subword tokenization (BPE, WordPiece, SentencePiece), and vocabulary optimizations. Learners will implement these methods and understand their impact on NLP model performance.

Programme

• Unité 1 : Introduction à la tokenisation (Tokenisation basée sur des règles)
Tokeniser du texte avec NLTK
Tokenisation de phrases avec NLTK
Extraire des valeurs monétaires avec Regex
Confrontation de tokenisation avec NLTK et spaCy
• Unité 2 : Codage par paire de bytes (BPE) – Tokenisation de sous-mots
Explorer les tokeniseurs pré-entrainés avec GPT-2
Utiliser des tokeniseurs pré-entrainés avec RoBERTa
Comparer la tokenisation avec GPT-2 et RoBERTa
• Unité 3 : Comparaison de BPE, WordPiece, et SentencePiece en TAL
Défi de tokenisation WordPiece
Les techniques de tokenisation en action
Les techniques de tokenisation en action
Les techniques de tokenisation pour des textes spéciaux
• Unité 4 : Tokenisation et gestion du vocabulaire hors-contexte (OOV) en TAL
Confrontation de tokenisation BERT vs GPT2
Défi de tokenisation multilingue
Tokenisation multilingue et réduction de l’OOV

---

Matières

Computer Science