Introduction aux modèles Transformer pour le traitement du langage naturel : Unité 2

Aperçu

This course covers the fundamentals and advanced applications of BERT and GPT models. You will learn how BERT processes text, including tokenization and vectorization, and practice fine-tuning BERT for tasks such as sequence classification, token classification, and question answering.

The course also explains how GPT generates text, adapts to different writing styles, and can be fine-tuned for tasks like translating English to code. Additional topics include semantic search using Siamese BERT and multi-task learning with GPT through prompt engineering.

By the end of the course, you will have the practical skills and theoretical understanding needed to apply BERT and GPT to various natural language processing problems.

Programme

• Introduction aux modèles Transformers pour le TAL : Unité 2
Ce module offre une exploration approfondie des modèles modernes basés sur les transformers pour le traitement automatique du langage. Il couvre les architectures et les mécanismes fondamentaux de BERT et GPT, en s'attardant sur leur pré-entraînement, leur ajustement fin et leurs applications pratiques. À travers des leçons pratiques, les apprenants s'engagent dans des tâches réelles telles que la classification de séquences et de tokens, la réponse à des questions, la recherche sémantique et la génération de texte. Le module met l'accent sur la compréhension théorique et les compétences pratiques, permettant aux étudiants d'exploiter BERT et GPT pour un large éventail de défis en TAL, y compris l'apprentissage multi-tâches et l'adaptation des modèles à de nouveaux domaines ou styles d'écriture.

Enseigné par

Pearson

Matières

Computer Science