Testez l'application IA & LLM avec DeepEval, RAGA et plus encore en utilisant Ollama.

Aperçu

Feuille de route pour devenir ingénieur QA IA pour tester des LLM et des applications IA en utilisant DeepEval, RAGAs et HF Evaluate avec des LLM locaux Ce que vous apprendrez :

Comprendre l'objectif du test des LLM et des applications basées sur LLM Comprendre en détail DeepEval et RAGAs depuis les bases Comprendre les différents métriques et évaluations pour évaluer les LLM et les applications basées sur LLM en utilisant DeepEval et RAGAs Comprendre les concepts avancés de DeepEval et RAGAs Tester des applications basées sur RAG en utilisant DeepEval et RAGAs Tester des agents IA en utilisant DeepEval pour comprendre comment les appels d'outils peuvent être testés Tester des applications IA & LLM avec DeepEval, RAGAs et plus en utilisant Ollama et des Modèles de Langage de Grande Taille (LLMs) locaux Maîtriser les compétences essentielles pour tester et évaluer les applications IA, en particulier les Modèles de Langage de Grande Taille (LLMs). Ce cours pratique équipe les ingénieurs QA, AIQA, les développeurs, les scientifiques des données et les praticiens de l'IA avec des techniques de pointe pour évaluer les performances de l'IA, identifier les biais et assurer un développement d'application robuste.

Sujets abordés :

Section 1 :

Fondations du test d'application IA (Introduction au test de LLM, types d'application IA, métriques d'évaluation, bibliothèques d'évaluation LLM). Section 2 :

Déploiement de LLM local avec Ollama (Déploiement de LLM local, modèles IA, exécution de LLM localement, implémentation Ollama, GUI/CLI, configuration d'Ollama comme API).

Section 3 :

Configuration de l'environnement (Jupyter Notebook pour les tests, configuration de Confident AI). Section 4 :

Bases de DeepEval (Test traditionnel des LLM, premier code DeepEval pour la pertinence des réponses, la précision du contexte, évaluation dans Confident AI, test avec LLM local, compréhension des cas de test LLM et Goldens).

Section 5 :

Évaluation avancée de LLM (LangChain pour les LLM, évaluation de la pertinence des réponses, précision du contexte, détection des biais, critères personnalisés avec GEval, test avancé des biais). Section 6 :

Test RAG avec DeepEval (Introduction à RAG, compréhension des applications RAG, démo, création de GEval pour RAG, test de concision et de complétude).

Section 7 :

Test RAG avancé avec DeepEval (Création de multiples données de test, Goldens dans Confident AI, sortie réelle et contexte de récupération, cas de test LLM à partir de l'ensemble de données, exécution de l'évaluation pour RAG). Section 8 :

Test des agents IA et des appels d'outils (Comprendre les agents IA, travailler avec les agents, tester les agents avec et sans systèmes réels, tester avec plusieurs ensembles de données).

Section 9 :

Évaluation des LLM utilisant RAGAS (Introduction à RAGAS, rappel de contexte, sensibilité au bruit, MultiTurnSample, métriques à usage général pour les résumés et la nocivité). Section 10 :

Test d'applications RAG avec RAGAS (Introduction et configuration, création de récupérateurs et de magasins de vecteurs, ensemble de données MultiTurnSample pour RAG, évaluation RAG avec RAGAS).

Programme

• Section 1 : Fondements des tests d'application IA
Introduction aux tests LLM
Types d'applications IA
Métriques d'évaluation pour les applications IA
Aperçu des bibliothèques d'évaluation LLM
• Section 2 : Déploiement local de LLM avec Ollama
Stratégies de déploiement de LLM local
Aperçu des modèles IA
Exécution de LLMs localement
Mise en œuvre d'Ollama pour le déploiement de LLM
Utilisation de l'interface graphique/CLI d'Ollama
Configuration d'Ollama en tant qu'API
• Section 3 : Configuration de l'environnement
Environnement de test dans Jupyter Notebook
Mise en place de la plate-forme Confident AI
• Section 4 : Bases de DeepEval
Méthodes traditionnelles de test LLM
Développement du premier code DeepEval
Évaluation de la pertinence des réponses et de la précision contextuelle
Utilisation de Confident AI pour l'évaluation
Test avec des LLM locaux
Compréhension des LLMTestCases et Goldens
• Section 5 : Évaluation avancée de LLM
Utilisation de LangChain avec LLMs
Évaluation de la pertinence des réponses et de la précision contextuelle
Détection et évaluation des biais
Critères d'évaluation personnalisés avec GEval
Techniques avancées de test des biais
• Section 6 : Test RAG avec DeepEval
Introduction à RAG (Generation augmentée par la récupération)
Compréhension des applications RAG
Démonstration du test RAG
Création de tests GEval pour RAG
Évaluation de la concision et de l'exhaustivité
• Section 7 : Test RAG avancé avec DeepEval
Création de plusieurs ensembles de test
Utilisation de Goldens dans Confident AI
Analyse des sorties réelles et des contextes de récupération
Génération de LLMTestCases à partir des ensembles de données
Exécution des évaluations RAG
• Section 8 : Essais des agents IA et des appels d'outil
Introduction aux agents IA
Travailler avec les agents IA
Tester les agents IA avec et sans systèmes réels
Utilisation de plusieurs ensembles de données pour l'évaluation des agents
• Section 9 : Évaluation des LLMs à l'aide de RAGAS
Introduction à RAGAS (Système d'évaluation RAG)
Métriques : appellation de contexte, sensibilité au bruit, échantillon multiterrain
Évaluation des résumés à usage général et de la nocivité
• Section 10 : Tester les applications RAG avec RAGAS
Introduction et configuration pour les tests RAGAS
Création de récupérateurs et de magasins de vecteurs
Utilisation de l'ensemble de données MultiTurnSample pour l'évaluation RAG
Évaluation complète du RAG avec RAGAS

---

Enseigné par

Karthik KK

---

Sujets

Informatique