Apprendre les langues aux machines (5) - Benoît Sagot (2023-2024)

Enseignement 2023-2024 : Apprendre les langues aux machines
Cours du 22 décembre 2023 : Modèles de langue

Les modèles de langue, une direction de recherche indépendante de la représentation vectorielle pendant l’ère préneuronale. Leur évolution récente et leur rencontre, jusqu’aux modèles de langue contextuels neuronaux. Les architectures récurrentes (y compris les LSTM) et l’architecture Transformer. Les modèles de langues neuronaux : modèles par masquage (ELMo, BERT et ses dérivés), modèles génératifs (GPT, BLOOM, LLAMA), modèles encodeur-décodeur (BART, T5). L’affinage (fine-tuning). L’évaluation des modèles de langue : les grands benchmarks tels que GLUE/SuperGLUE et leurs limites.

Professeur : Benoît Sagot
Chaire Informatique et sciences numériques

Retrouvez les enregistrements audios et vidéos du cycle :
https://www.college-de-france.fr/fr/agenda/cours/apprendre-les-langues-aux-machines

Tous les enseignements du Pr Benoît Sagot :
https://www.college-de-france.fr/fr/chaire/benoit-sagot-informatique-et-sciences-numeriques-chaire-annuelle
https://www.youtube.com/playlist?list=PLtimy8tnozIA5Wy3p9FCx2nB_fdwWCqDc

Le Collège de France est une institution de recherche fondamentale dans tous les domaines de la connaissance et un lieu de diffusion du « savoir en train de se faire » ouvert à tous.
Les cours, séminaires, colloques sont enregistrés puis mis à disposition du public sur le site internet du Collège de France.

Découvrez toutes les ressources du Collège de France :
https://www.college-de-france.fr

Suivez-nous sur :
Facebook : https://www.facebook.com/College.de.France
Instagram : https://www.instagram.com/collegedefrance
X (ex-Twitter) : https://twitter.com/cdf1530
LinkedIn : https://fr.linkedin.com/company/collègedefrance