Construisez un agent de diffusion en direct multimodal avec ADK.

Aperçu

Découvrez comment construire des agents d'IA multimodaux en temps réel en utilisant le kit de développement d'agents de Google (ADK), qui simplifie des processus complexes tels que les demandes en file d'attente et la gestion des événements par rapport à la construction directement avec l'API de streaming en direct de Gemini.

Programme

• Introduction à l'IA multimodale et aux agents en temps réel
Aperçu de l'IA multimodale
Comprendre le traitement en temps réel
Introduction au kit de développement d'agents (ADK) de Google
• Configuration de votre environnement de développement
Installation des outils et dépendances requis
Navigation dans l'ADK et configuration de base
• Fondamentaux de l'ADK
Caractéristiques clés et capacités
Comprendre l'API de streaming en direct Geminis
Avantages de l'utilisation de l'ADK par rapport aux appels d'API directs
• Concevoir votre agent de streaming multimodal
Définition des cas d'utilisation et des exigences
Architecturer une structure d'agent multimodale
• Implémentation des demandes en file d'attente avec l'ADK
Simplification de la gestion des files d'attente
Gestion des demandes concurrentes des utilisateurs
• Gestion des événements et synchronisation
Gestion des événements asynchrones
Synchronisation des entrées de plusieurs modalités
• Intégration à l'API de streaming en direct
Comprendre les flux de données en direct
Interface de l'ADK avec l'API pour les mises à jour en temps réel
• Amélioration des interactions des agents
Incorporation du traitement de la parole et du texte
Ajout de capacités de reconnaissance visuelle
• Tester et déboguer des agents multimodaux
Stratégies pour des tests efficaces
Débogage des problèmes courants dans les systèmes en temps réel
• Déploiement de votre agent
Préparation au déploiement
Assurer la scalabilité et la robustesse
• Résumé du cours et projet de synthèse
Récapitulatif des concepts et compétences clés
Projet de synthèse : construire et déployer un agent multimodal entièrement fonctionnel en utilisant l'ADK

Sujets

Informatique