Prueba la aplicación de IA y LLM con DeepEval, RAGAs y más usando Ollama.

Resumen

Hoja de ruta para convertirse en Ingeniero de QA en IA para probar LLMs y Aplicaciones de IA usando DeepEval, RAGAs y HF Evaluate con LLMs Locales Lo que aprenderás:

Entender el propósito de Probar LLM y aplicaciones basadas en LLM. Comprender DeepEval y RAGAs en detalle desde el principio.

Entender diferentes métricas y evaluaciones para evaluar LLMs y aplicaciones basadas en LLM usando DeepEval y RAGAs. Entender los conceptos avanzados de DeepEval y RAGAs.

Probar aplicaciones basadas en RAG usando DeepEval y RAGAs. Probar Agentes de IA usando DeepEval para entender cómo se pueden probar las llamadas de herramientas.

Probar Aplicaciones de IA y LLM con DeepEval, RAGAs y más usando Ollama y Modelos de Lenguaje de Gran Escala Locales (LLMs). Dominar las habilidades esenciales para probar y evaluar aplicaciones de IA, particularmente Modelos de Lenguaje de Gran Escala (LLMs).

Este curso práctico equipa a QA, AIQA, Desarrolladores, científicos de datos y practicantes de IA con técnicas de vanguardia para evaluar el rendimiento de la IA, identificar sesgos y asegurar un desarrollo de aplicaciones sólido. Temas Cubiertos:

Sección 1:

Fundamentos de Pruebas de Aplicaciones de IA (Introducción a pruebas de LLM, tipos de aplicaciones de IA, métricas de evaluación, bibliotecas de evaluación de LLM).

Sección 2:

Despliegue de LLM Locales con Ollama (Despliegue de LLM local, modelos de IA, ejecución de LLMs localmente, implementación de Ollama, GUI/CLI, configuración de Ollama como API). Sección 3:

Configuración del Entorno (Jupyter Notebook para pruebas, configuración de Confident AI).

Sección 4:

Fundamentos de DeepEval (Pruebas tradicionales de LLM, primer código de DeepEval para Relevancia de Respuesta, Precisión de Contexto, evaluación en Confident AI, pruebas con LLM local, comprensión de LLMTestCases y Goldens). Sección 5:

Evaluación Avanzada de LLM (LangChain para LLMs, evaluando Relevancia de Respuesta, Precisión de Contexto, detección de sesgos, criterios personalizados con GEval, pruebas avanzadas de sesgos).

Sección 6:

Pruebas de RAG con DeepEval (Introducción a RAG, comprensión de aplicaciones RAG, demostración, creación de GEval para RAG, pruebas para concisión y completitud). Sección 7:

Pruebas Avanzadas de RAG con DeepEval (Creación de múltiples datos de prueba, Goldens en Confident AI, salida real y contexto de recuperación, LLMTestCases de conjunto de datos, ejecución de evaluación para RAG).

Sección 8:

Pruebas de Agentes de IA y Llamadas de Herramientas (Comprensión de Agentes de IA, trabajo con agentes, pruebas de agentes con y sin sistemas reales, pruebas con múltiples conjuntos de datos). Sección 9:

Evaluación de LLMs usando RAGAS (Introducción a RAGAS, Recuperación de Contexto, Sensibilidad al Ruido, MultiTurnSample, métricas de propósito general para resúmenes y nocividad).

Sección 10:

Pruebas de aplicaciones de RAG con RAGAS (Introducción y configuración, creación de recuperadores y almacenes de vectores, conjunto de datos MultiTurnSample para RAG, evaluación de RAG con RAGAS).

Programa de estudio

• Sección 1: Fundamentos de Pruebas de Aplicaciones de IA
Introducción a Pruebas de LLM
Tipos de Aplicaciones de IA
Métricas de Evaluación para Aplicaciones de IA
Resumen de Bibliotecas de Evaluación de LLM
• Sección 2: Despliegue Local de LLM con Ollama
Estrategias de Despliegue Local de LLM
Resumen de Modelos de IA
Ejecución de LLMs Localmente
Implementación de Ollama para Despliegue de LLM
Uso de la GUI/CLI de Ollama
Configuración de Ollama como una API
• Sección 3: Configuración de Entorno
Entorno de Prueba en Jupyter Notebook
Configuración de la Plataforma Confident AI
• Sección 4: Fundamentos de DeepEval
Métodos Tradicionales de Pruebas de LLM
Desarrollo del Primer Código DeepEval
Evaluación de Relevancia de Respuestas y Precisión de Contexto
Uso de Confident AI para Evaluación
Pruebas con LLMs Locales
Comprensión de LLMTestCases y Goldens
• Sección 5: Evaluación Avanzada de LLM
Uso de LangChain con LLMs
Evaluación de Relevancia de Respuestas y Precisión de Contexto
Detección y Evaluación de Sesgo
Criterios de Evaluación Personalizados con GEval
Técnicas Avanzadas de Pruebas de Sesgo
• Sección 6: Pruebas RAG con DeepEval
Introducción a RAG (Generación Aumentada por Recuperación)
Comprensión de Aplicaciones RAG
Demostración de Pruebas RAG
Creación de Pruebas GEval para RAG
Evaluación de Concisión y Completitud
• Sección 7: Pruebas Avanzadas RAG con DeepEval
Creación de Múltiples Conjuntos de Datos de Pruebas
Uso de Goldens en Confident AI
Análisis de Resultados Reales y Contextos de Recuperación
Generación de LLMTestCases a partir de Conjuntos de Datos
Ejecución de Evaluaciones RAG
• Sección 8: Pruebas de Agentes de IA y Llamadas de Herramientas
Introducción a Agentes de IA
Trabajo con Agentes de IA
Pruebas de Agentes de IA con y sin Sistemas Reales
Uso de Múltiples Conjuntos de Datos para Evaluación de Agentes
• Sección 9: Evaluación de LLMs usando RAGAS
Introducción a RAGAS (Sistema de Evaluación RAG)
Métricas: Recuperación de Contexto, Sensibilidad al Ruido, MultiTurnSample
Evaluación de Resúmenes de Propósito General y Nocividad
• Sección 10: Pruebas de Aplicaciones RAG con RAGAS
Introducción y Configuración para Pruebas RAGAS
Creación de Recuperadores y Almacenes Vectoriales
Uso del Conjunto de Datos MultiTurnSample para Evaluación RAG
Evaluación RAG Integral con RAGAS

---

Enseñado por

Karthik KK

---

Asignaturas

Informática