Master's degree in Statistics and Operations Research

Share:

Interpretable Machine Learning: Interpretabilidad en modelos de aprendizaje automático

Date:

June 20 to 23. MORNING: 9 to 13h (June 20, 21, and 22) and 9 to 12h (June 23)

Classroom:

Not defined yet

Instructor

Pedro Delicado y Cristian Pachón-García 


Pedro Delicado (Departament d'Estadística i Investigació Operativa, Universitat Politècnica de Catalunya) es catedrático de Estadística. Su actividad investigadora se ha dedicado principalmente al Análisis Funcional de Datos (centrándose en la reducción de la dimensionalidad y la dependencia espacial), pero en los últimos años también está interesado en explorar los vínculos entre la Estadística y el Aprendizaje Automático, con especial interés en la interpretabilidad de los modelos predictivos.

Cristian Pachón-García es estudiante de doctorado en la Universitat Politècnica de Catalunya. Es licenciado en Matemáticas (2010, UPC) y es M.Sc. en Estadística e Investigación Operativa (2019, MESIO UPC-UB). Tiene alrededor de 10 años de experiencia profesional en el campo de Data Science (Analista de Riesgos en el Banc Sabadell 2 años, Data Scientist en Pagantis 5 años, Ingeniero de Machine Learning en Softonic 1 año).

Language

Spanish

Description

Los modelos de aprendizaje automático son cada vez más precisos en sus predicciones y, por ello, su presencia se ha multiplicado en múltiples facetas de nuestras vidas. Muchas veces las mejoras en eficiencia predictiva de los modelos se consiguen a costa de aumentar su complejidad, lo que hace que a menudo nos refiramos a ellos como “cajas negras”. El crecimiento en ubicuidad y complejidad de los algoritmos de aprendizaje automático hace que cada vez sean más las voces que reclaman entender cómo y por qué toman sus decisiones dichos algoritmos. En respuesta a esta demanda, en los últimos años ha aparecido toda una literatura (conocida como “Interpretable Machine Learning” o “eXplainable Artificial Intelligence”, IML o XAI) cuya finalidad es dotar de transparencia e interpretabilidad a los algoritmos automáticos con el fin de lograr la confianza de los usuarios potenciales. En este curso presentaremos algunas de las herramientas actuales de IML, describiremos cómo usarlos en la práctica a través de ejemplos (implementados en R y Python) y mostraremos sus fundamentos teóricos.

Course goals

Al final del curso, el/la participante:

  • Habrá tomado consciencia de la necesidad de aportar interpretabilidad a los algoritmos de aprendizaje automático.
  • Conocerá las técnicas de interpretabilidad más comunes actualmente, tanto para datos tabulares como para imágenes.
  • Sabrá cómo clasificarlas y qué relaciones hay entre ellas.
  • Sabrá cómo usarlas en R y/o Python.

Course contents

  1. Introducción a la interpretabilidad en aprendizaje automático.
    1. Modelos transparentes frente a modelos “caja negra”.
    2. Métodos globales (relevancia de variables) frente a métodos locales (explicabilidad).
  2. Métodos de interpretabilidad para modelos específicos.
    1. Random forests.
    2. Neural networks.
  3. Métodos de interpretabilidad agnósticos al modelo.
    1. Métodos globales:
      1. Importancia de variables mediante perturbaciones.
      2. Importancia basada en el Valor de Shapley.
      3. Gráfico de dependencia parcial.
      4. Gráficos de efectos locales acumulados.
    2. Métodos locales:
      1. LIME: Local interpretable model-agnostic explanations.
      2. Importancia local basada en el Valor de Shapley.
      3. SHAP: SHapley Additive exPlanations.
      4. Gráficos Break-down.
      5. ICE: Individual conditional expectation, o gráfico ceteris paribus.
  4. Interpretabilidad en aprendizaje profundo de imágenes.
    1. Clasificación de imágenes con redes convolucionales: Conceptos básicos.
    2. Métodos basados en el gradiente:
      1. Grad-CAM.
      2. Saliency maps.
    3. Métodos basados en perturbaciones:
      1. LIME para imágenes.
      2. SHAP’s DeepExplainer.
    4. Métodos basados en prototipos:
      1. ProtoPNet.

Prerequisites

  • Nociones básicas de algoritmos de aprendizaje automático (machine learning).
  • Conocimiento a nivel de usuario de R o Python (al menos de uno de los dos).

Targeted at

  • Estudiantes del MESIO UPC-UB.
  • Estudiantes del Grado de Ciencia e Ingeniería de Datos (GECD).
  • Otros estudiantes con conocimientos de machine learning.
  • Profesionales interesados en la aplicación práctica de técnicas de interpretabilidad.

Evaluation

Un pequeño proyecto aplicado individual basado en el análisis de un caso real. Debe seguir la siguiente estructura:

  1. Selección de un conjunto de datos que permita ajustar modelos de machine learning supervisado.
  2. Ajustar algunos modelos predictivos al conjunto de datos.
  3. Aplicar técnicas globales de interpretabilidad para los diferentes modelos ajustados.
  4. Seleccionar un subconjunto reducido de casos representativos (entre 3 y 5 casos) y aplicar métodos locales para explicar las predicciones de los modelos en esos casos.

También se podrían considerar otras alternativas (previa consulta con los profesores del curso de la propuesta específica) como por ejemplo:

  • Explorar una de las librerías de interpretabilidad en R o Python que no se hayan estudiado en profundidad durante el curso.
  • Explorar una de las técnicas de interpretabilidad que no se hayan estudiado en profundidad durante el curso.

Software requirements

R-Studio y/o Python (instalado con Conda).