Resumen
Machine learning systems used in Clinical Decision Support Systems (CDSS) require further external validation, calibration analysis, assessment of bias and fairness. In this course, the main concepts of machine learning evaluation adopted in CDSS will be explained.
Furthermore, decision curve analysis along with human-centred CDSS that need to be explainable will be discussed. Finally, privacy concerns of deep learning models and potential adversarial attacks will be presented along with the vision for a new generation of explainable and privacy-preserved CDSS.
Programa
- De modelos de aprendizaje automático a sistemas de apoyo a la decisión clínica
Adoptar un modelo de aprendizaje automático en un Sistema de Apoyo a la Decisión Clínica (SADC) requiere varios pasos que implican validación externa, evaluación y calibración de sesgos, evaluación de 'equidad', utilidad clínica, capacidad de explicar la decisión del modelo y modelos de aprendizaje automático conscientes de la privacidad. En este módulo, vamos a discutir estos conceptos y proporcionar varios ejemplos de investigación de vanguardia en el área. La validación externa y la evaluación de sesgos se han convertido en la norma en los modelos de predicción clínica. Se requiere más trabajo para evaluar y adoptar modelos de aprendizaje profundo bajo estas condiciones. Por otro lado, la investigación en 'equidad', SADC centrados en el ser humano y preocupaciones de privacidad de los modelos de aprendizaje automático son áreas de investigación activa. La primera semana cubrirá las diferencias entre reproducibilidad y generalización. Además, se explorará la evaluación de la calibración en los modelos de predicción clínica mientras se discutirá cómo diferentes arquitecturas de aprendizaje profundo afectan la calibración.
- 'Equidad' en los modelos de aprendizaje automático
Ingenuamente, el aprendizaje automático puede considerarse como una forma de llegar a decisiones libres de prejuicios y sesgos sociales. Sin embargo, la evidencia reciente muestra cómo los modelos de aprendizaje automático aprenden de los sesgos en los datos históricos y reproducen decisiones injustas de manera similar. Detectar sesgos contra subgrupos en modelos de aprendizaje automático es desafiante también debido a que estos modelos no han sido diseñados o entrenados para discriminar deliberadamente. Definir métricas de 'equidad' e investigar formas de asegurar que los grupos minoritarios no se vean desfavorecidos por las decisiones de los modelos de aprendizaje automático es un área de investigación activa.
- Análisis de Curvas de Decisión y SADC centrado en el ser humano
El análisis de curvas de decisión se utiliza para evaluar la utilidad clínica de un modelo de predicción estimando el beneficio neto, que es una compensación entre la precisión y la exactitud del modelo. Basado en este enfoque, la estrategia de 'intervención para todos' e 'intervención para ninguno' se compara con el beneficio neto del modelo. El análisis de curvas de decisión es un enfoque centrado en el ser humano para evaluar la utilidad clínica, ya que requiere la opinión de expertos. Las iniciativas de Inteligencia Artificial ética indican que se requiere un enfoque centrado en el ser humano en los sistemas de apoyo a la decisión clínica para permitir la responsabilidad, seguridad y supervisión mientras se aseguran la 'equidad' y la transparencia.
- Preocupaciones de privacidad en SADC
Los modelos de aprendizaje profundo tienen una capacidad notable para memorizar datos incluso cuando no sobreajustan. En otras palabras, los propios modelos pueden exponer información sobre los pacientes que compromete su privacidad. Esto puede resultar en una fuga de datos no intencionada durante la inferencia y también proporcionar oportunidades para ataques malintencionados. Revisaremos ataques comunes de privacidad y defensas contra ellos. Finalmente, discutiremos ataques adversarios contra explicaciones de aprendizaje profundo.
Impartido por
Fani Deligianni
Materias
Computer Science
