Extraction de données structurées à partir d'une entrée multimodale : Approches neuronales et neuro-symboliques

Aperçu

Explorez des techniques avancées pour extraire des données structurées à partir de sources multimodales, en vous concentrant sur les méthodes neuronales, les approches neuro-symboliques et les solutions basées sur les modèles de langage de grande taille (LLM) pour traiter les éléments textuels et visuels intégrés.

Programme

• Introduction aux données multi-modales
Aperçu des sources d'entrée multi-modales
Défis de l'extraction de données structurées à partir d'entrées multi-modales
• Méthodes neuronales pour les données multi-modales
Architectures d'apprentissage profond pour le traitement multi-modal
Réseaux convolutifs et récurrents dans le traitement des images et du texte
Modèles de transformateurs pour la fusion multi-modale
• Approches neuro-symboliques
Introduction aux systèmes neuro-symboliques
Intégration des réseaux neuronaux et du raisonnement symbolique
Études de cas sur l'apprentissage neuro-symbolique à partir de données multi-modales
• Grands modèles de langage (LLM) dans des contextes multi-modaux
Fonctionnalités des LLM comme GPT pour le traitement multi-modal
Techniques basées sur les LLM pour intégrer données textuelles et visuelles
• Extraction de données structurées à partir d'entrées intégrées
Techniques de représentation et de fusion des données
Génération de données structurées à partir d'informations textuelles et visuelles combinées
• Applications et études de cas
Applications pratiques : robotique, véhicules autonomes et soins de santé
Études de cas : mise en œuvre réelle de techniques d'extraction multi-modale
• Implications éthiques et sociétales
Biais et équité dans les systèmes multi-modaux
Problèmes de confidentialité dans la collecte et le traitement des données multi-modales
• Projets pratiques
Mise en œuvre d'un système d'extraction de données multi-modales
Expérience pratique avec des outils neuronaux et neuro-symboliques
• Directions futures dans le traitement des données multi-modales
Tendances émergentes et technologies
Frontières de la recherche dans les méthodes neuronales et neuro-symboliques pour les entrées multi-modales

---

Sujets

Science des données