Retraso en el impacto de la equidad en el aprendizaje automático de la calculadora bitcoin para la minería de papel en la mañana uk

Retrasado impacto del aprendizaje equitativo de la máquina “ganó el premio al mejor papel en ICML este año. No es una lectura fácil (al menos no fue para mí), pero afortunadamente es posible apreciar los resultados principales sin seguir todos los detalles de la prueba. La pregunta central es cómo garantizar un trato justo entre los grupos demográficos de una población cuando se utiliza un modelo de aprendizaje automático basado en puntajes para decidir quién tiene la oportunidad (por ejemplo, se le ofrece un préstamo) y quién no. Más recientemente, analizamos los modelos de igualdad de oportunidades y de igualdad de oportunidades.

La suposición subyacente, por supuesto, para los modelos de equidad estudiados es que el criterios de equidad promover el bienestar a largo plazo de aquellos grupos que pretenden proteger. El gran resultado en este documento es que puedes terminar fácilmente ‘matándolos con bondad’ en su lugar. La posibilidad de que esto suceda existe cuando existe un circuito de retroalimentación en el sistema en general. Por sistema general aquí, me refiero al sistema humano del cual el modelo de aprendizaje automático es solo una pequeña parte. Al utilizar la decisión de préstamo / no préstamo que es un vehículo de estudio popular en los documentos de equidad, debemos considerar no solo (por ejemplo) la oportunidad que tiene alguien en un grupo desfavorecido de calificar para un préstamo, sino también lo que sucederá en el futuro como resultado de ese préstamo. Si el prestatario finalmente incumple, entonces también verá una disminución en su puntaje de crédito, lo que hará más difícil para el prestatario obtener préstamos adicionales en el futuro. Por otro lado, un evento de préstamo exitoso puede aumentar el puntaje de crédito para el prestatario.

Argumentamos que sin un modelo cuidadoso de resultados retrasados, no podemos prever el impacto que tendría un criterio de equidad si se aplica como una restricción en un sistema de clasificación. Sin embargo, si se dispone de un modelo de resultados tan preciso, demostramos que hay formas más directas de optimizar los resultados positivos que a través de los criterios de equidad existentes.

Se utilizan tres políticas principales de selección como base del estudio, y para mantener las cosas simples, consideraremos un entorno en el que la población se divide en dos grupos, A y B. El grupo A se considera el grupo desfavorecido (“A “¡Para Advantaged tendría mucho más sentido!). Una institución toma una decisión binaria para cada individuo en cada grupo, llamada selección (por ejemplo, si a este individuo se le ofrece un préstamo).

Los autores estudian qué sucede con el puntaje promedio (promedio) de un grupo bajo diferentes políticas de selección. Se dice que una política causa daño activo si causa la puntuación media bajar, estancarse si el puntaje promedio no cambia, y mejorar si el puntaje promedio aumenta. También es útil comparar una política con una línea base, para lo cual utilizaremos el modelo de utilidad / utilidad máxima. En comparación con esta línea de base, una política tiene un daño relativo si el puntaje promedio bajo la política es menor de lo que sería bajo el modelo de utilidad máximo, y una mejora relativa si el puntaje promedio bajo la política es mayor de lo que sería bajo el modelo de utilidad máxima .

La curva de resultados muestra tres regiones de interés: mejora relativa, daño relativo y daño activo. Si la tasa de selección para un grupo bajo el modelo de utilidad máxima es, entonces la reducción de la tasa de selección debajo de este hace daño relativo al grupo, es decir, el puntaje promedio disminuye. Intuitivamente, hay resultados menos positivos para que el grupo genere un ciclo de retroalimentación positivo (por ejemplo, personas que reciben préstamos y les devuelven el dinero).

Si aumentamos la tasa de selección por encima del punto máximo de utilidad (desde la perspectiva de la institución recuerda), para comenzar con el grupo se observa una mejora relativa en sus puntajes promedio. Esto se mantiene mientras los individuos seleccionados adicionalmente tengan resultados más positivos que negativos. La velocidad de selección a la cual se maximiza la mejora relativa se denota por.

En análisis, tanto la paridad demográfica y igualdad de oportunidades los criterios de equidad pueden conducir a todos los resultados posibles (mejora, estancamiento y declive). Curiosamente, “bajo una leve suposición, la política óptima sin restricciones óptima de la institución nunca puede conducir a la disminución”. Por lo tanto, es posible tener una intervención justa con la consecuencia involuntaria de dejar al grupo desfavorecido peor de lo que estaba antes. También hay algunos ajustes donde paridad demográfica Causa disminución, pero la igualdad de oportunidades no. Además, hay algunos entornos donde la igualdad de oportunidades causa un daño relativo, pero la paridad demográfica no.

Los autores miran el impacto de las limitaciones de equidad en los puntajes FICO (solvencia crediticia) usando una muestra de 301,536 puntajes de 2003. Las personas fueron etiquetadas como incumplidas si no pagaban una deuda durante al menos 90 días en al menos una cuenta en el período siguiente de 18-24 meses. Con una relación pérdida / ganancia de -10, ningún criterio de equidad supera la tasa de daño activo. Pero con una relación pérdida / ganancia de -4, la paridad demográfica sobrecarga y causa daño activo.

banner