Operationalizing Fairness in Machine Learning Pipelines for Trustworthy Algorithmic Decision-Making

• Autores: Juliett M. Suárez Ferreira
• Directores de la Tesis: Jorge Casillas Barranquero (codir. tes.), Marija Slavkovik (codir. tes.)
• Lectura: En la Universidad de Granada ( España ) en 2026
• Idioma: inglés
• ISBN: 9791370152994
• Número de páginas: 292
• Enlaces
  • Tesis en acceso abierto en: DIGIBUG
• Resumen
  • español

    Abordar de manera efectiva los sesgos y la discriminación en los procesos de aprendizaje automático (AA) es un desafío crucial para construir sistemas automáticos para la toma de decisiones confiables. La creciente integración de estos sistemas en la vida cotidiana, desde la salud y el empleo hasta la educación, la movilidad y los servicios públicos, evidencia la necesidad de tratar esta problemática no solo como un reto técnico, sino también como una cuestión sociotécnica fundamental, dado el modo en que estos sistemas afectan las oportunidades individuales y las estructuras sociales. Esta tesis explora nuevos métodos para comprender y mitigar diferentes desafíos en el tratamiento de sesgos y discriminación a lo largo del ciclo de desarrollo de sistemas de AA. Se reconoce que dichos desafíos son multidimensionales, y están influenciados por decisiones técnicas, prácticas organizacionales además de diferentes contextos sociales e institucionales. Por ello, se propone un enfoque integral que los contemple en cada etapa del desarrollo de sistemas de AA. En concreto, se examina cada etapa del proceso de AA (comprensión del negocio y los datos, preparación de datos, modelado, evaluación, despliegue y monitoreo), destacando problemas específicos específicos de sesgos y discriminación que pueden surgir en cada una de ellas, así como las estrategias existentes para mitigarlos. Además, se identifican desafíos abiertos que requieren investigación adicional, varios de los cuales son abordados directamente en las contribuciones de esta tesis. Este trabajo analiza cómo la complejidad inherente a los problemas de clasificación influye en la generación de resultados discriminatorios en tareas de clasificación binaria. Al estudiar las diferencias de complejidad entre grupos privilegiados y no privilegiados, se muestra cómo los sesgos presentes en los datos pueden afectar negativamente la equidad en los resultados. Estos hallazgos ofrecen herramientas prácticas para que los desarrolladores anticipen estos riesgos y adopten estrategias de preparación de datos más proactivas. Se presenta un procedimiento general para medir de forma sistemática la ausencia de sesgos en tareas de regresión. Los experimentos demuestran cómo las decisiones metodológicas, como los métodos de discretización, la elección del algoritmo o la optimización de parámetros, pueden afectar la equidad de los resultados. Esta contribución resalta la importancia de considerar cuidadosamente el enfoque metodológico al abordar la discriminación en contextos de regresión. Dado que algunas intervenciones para mitigar sesgos pueden generar consecuencias indeseadas, esta tesis propone un conjunto de métricas para evaluar la proporcionalidad de las estrategias de mitigación aplicadas en la etapa de postprocesamiento. Estas métricas ofrecen mayor transparencia y responsabilidad sobre los efectos de tales intervenciones, especialmente en el impacto diferencial que pueden tener sobre distintos grupos. Finalmente, se introduce un marco conceptual denominado Ascertainable fairness, que posiciona la equidad como un derecho epistémico de las personas que interactúan con sistemas automáticos para la toma de deciciones. Este marco integra diferentes propuestas de principios éticos aplicados al desarrollo de sistemas de AA con el objetivo de permitir que las personas comprendan, cuestionen y verifiquen las decisiones algorítmicas que les afectan. Esta propuesta conecta soluciones técnicas con mecanismos de responsabilidad centrados en el usuario. Esta disertación promueve la integración de mecanismos para evitar sesgos y discriminaciones en los procesos de AA mediante un conjunto diverso de contribuciones que abordan diferentes desafíos en distintas fases del desarrollo. Estas aportaciones proporcionan herramientas prácticas y fundamentos teóricos útiles para organizaciones, desarrolladores, responsables de políticas públicas, entes reguladores y usuarios finales. La variedad de enfoques presentados demuestra que es posible incorporar evaluaciones de equidad a lo largo del ciclo de vida de los sistemas algorítmicos para la toma de decisiones, fortaleciendo así la confiabilidad de los mismos.

  • English

    Operationalizing fairness within machine learning (ML) pipelines is a critical challenge to building trustworthy algorithmic decision-making (ADM) systems. The growing integration of ADM systems into everyday life, from healthcare and employment to education, mobility, and public services, highlights the need to address fairness as a technical challenge and a sociotechnical imperative, given the different ways these systems shape individual opportunities and societal structures. This thesis explores new methods for understanding and mitigating fairness challenges in ML pipelines. It acknowledges fairness as a multidimensional concept, shaped by technical choices, organizational practices, and broader societal and institutional contexts, thus addressing fairness issues comprehensively throughout the lifecycle of ML. Specifically, it examines each stage of the ML pipeline (business and data understanding, data preparation, modeling, evaluation, deployment, and monitoring) highlighting distinct fairness issues and existing mitigation strategies. Furthermore, this thesis identifies critical open challenges, some of which are explicitly addressed through the presented contributions. This work analyzes how the complexity of classification problems influences fairness outcomes in binary classification tasks. By studying complexity differences between privileged and unprivileged groups, this work demonstrates how biases embedded in the data impact fairness. These findings offer practical insight for practitioners to anticipate fairness issues and adopt proactive data preparation strategies. This thesis presents a general procedure for systematically measuring fairness, specifically focusing on regression tasks. The experiments highlight how methodological choices, such as discretization methods, algorithm selection, and parameter optimization, affect fairness outcomes. This contribution emphasizes the need for careful methodological consideration when addressing fairness in regression contexts. Debiasing interventions can sometimes produce unintended negative consequences, to address these issues at group level, this work proposes a set of metrics to evaluate the proportionality of post-processing bias mitigation strategies. These metrics help practitioners understand and have transparency and accountability for their interventions. Lastly, this research introduces a conceptual framework called ascertainable fairness, positioning fairness as an epistemic right of individuals who interact with ADM systems. This framework integrates algorithmic fairness with explainable AI, accountability, and contestability. It empowers users to understand, challenge and verify the fairness of algorithmic decisions and bridges technical fairness solutions with user-centered accountability mechanisms. This dissertation aims to advance the operationalization of fairness in ML pipelines through this set of diverse contributions that address fairness challenges at different stages of the ML pipeline. The contributions provide practical tools and theoretical insight for organizations, practitioners, policy makers, and end-users. The variety of approaches explored demonstrates the many ways in which fairness checks can be integrated into the life cycle of ADM systems, thus enhancing their trustworthiness.