ROC AUC vs Precision-Recall para Datos Desequilibrados

Al construir modelos de machine learning para clasificar datos desequilibrados, nos enfrentamos a desafíos únicos. Un conjunto de datos es desequilibrado cuando una clase (minoritaria o positiva) tiene significativamente menos ejemplos que la otra (mayoritaria o negativa). Este desequilibrio es común en aplicaciones como la detección de fraude, el diagnóstico de enfermedades raras, la identificación de fallos mecánicos o la clasificación de clics en anuncios.

El Problema de la Precisión (Accuracy) en Datos Desequilibrados

En estos escenarios, métricas tradicionales como la precisión (accuracy) pueden ser engañosas. Un modelo que predice solo la clase mayoritaria puede alcanzar una precisión aparentemente alta. Por ejemplo, si solo el 1% de las transacciones son fraudulentas, un modelo que clasifica todas como no fraudulentas lograría un 99% de precisión. Este modelo, sin embargo, sería inútil para detectar fraude, al no identificar ningún caso positivo real.

Es crucial ir más allá de la precisión y usar métricas que evalúen eficazmente el rendimiento del modelo en la identificación de la clase minoritaria, que es a menudo la de mayor interés.

Curva ROC AUC: Una Evaluación General

La Curva Característica Operativa del Receptor (ROC) es una herramienta gráfica que muestra el rendimiento de un clasificador binario. Traza la Tasa de Verdaderos Positivos (TPR), también conocida como Recall o Sensibilidad, frente a la Tasa de Falsos Positivos (FPR) para distintos umbrales de clasificación.

TPR (Recall/Sensibilidad): Proporción de positivos reales identificados correctamente. Se calcula como TP / (TP + FN).
FPR: Proporción de negativos reales identificados incorrectamente como positivos. Se calcula como FP / (FP + TN).

El Área Bajo la Curva ROC (AUC ROC) resume el rendimiento de la curva en un solo valor, de 0.5 (aleatorio) a 1.0 (perfecto). Un AUC ROC de 0.5 indica que el modelo no tiene mejor capacidad discriminatoria que uno aleatorio. Un valor de 1.0 indica una distinción perfecta entre clases.

Fortalezas del ROC AUC:

Independiente del umbral: Evalúa el rendimiento en todos los posibles puntos de corte, útil para comparar modelos sin elegir un umbral específico.
Robusto al desequilibrio: TPR y FPR se normalizan por el tamaño de sus clases, haciendo al AUC ROC menos sensible al desequilibrio extremo.
Visión general: Proporciona una visión completa de la capacidad de discriminación del modelo, mostrando cómo separa las clases.

Limitaciones del ROC AUC:

Puede ser excesivamente optimista en conjuntos de datos altamente desequilibrados, especialmente si la preocupación por los Falsos Positivos no es prioritaria.
No se centra directamente en la precisión cuando los Falsos Positivos son costosos.

Curva Precision-Recall (PR): Foco en la Clase Minoritaria

La curva Precision-Recall (PR) es particularmente útil para evaluar modelos en datos altamente desequilibrados, especialmente cuando la clase positiva es rara y los Falsos Positivos son costosos. Traza la Precisión frente al Recall (Sensibilidad/TPR) para diferentes umbrales.

Precisión: Proporción de identificaciones positivas que fueron correctas. Se calcula como TP / (TP + FP). Alta precisión significa pocos falsos positivos.
Recall (Sensibilidad/TPR): Proporción de positivos reales identificados correctamente. Se calcula como TP / (TP + FN). Alto recall significa pocos falsos negativos.

El Área Bajo la Curva Precision-Recall (AUPRC) resume la curva PR. A diferencia del AUC ROC, el AUPRC tiene una línea base que es la prevalencia de la clase positiva en el dataset, no 0.5. Un AUPRC cercano a la prevalencia indica un rendimiento similar al aleatorio.

Fortalezas de la Curva PR:

Ideal para datos desequilibrados: Ofrece una visión más informativa y realista del rendimiento cuando la clase positiva es rara.
Se centra en la clase minoritaria: Al ignorar los Verdaderos Negativos (TN), la curva PR se enfoca en la capacidad de clasificar la clase minoritaria sin sesgos por el gran número de negativos correctos.
Sensible a los Falsos Positivos: La precisión se ve directamente afectada por los Falsos Positivos. Si minimizarlos es crucial (ej. diagnóstico de cáncer), esta curva es más relevante.
Claro trade-off: Muestra explícitamente el equilibrio entre identificar todos los positivos reales (Recall) y asegurar que la mayoría de las predicciones positivas sean correctas (Precisión).

Limitaciones de la Curva PR:

Puede ser más volátil con un número extremadamente bajo de positivos reales.
La línea base variable puede dificultar la interpretación directa si no se conoce la prevalencia de la clase positiva.

¿Cuándo Usar ROC AUC y Cuándo Precision-Recall?

La elección depende del problema, la distribución de datos y las consecuencias de los diferentes tipos de errores.

Utiliza ROC AUC cuando:

El desequilibrio de clases es moderado.
El coste de Falsos Positivos y Falsos Negativos es similar o desconocido.
Necesitas una métrica general para evaluar la capacidad de discriminación en todos los umbrales.
Estás interesado en el rendimiento general sin un sesgo hacia una clase específica.

Utiliza Precision-Recall cuando:

El conjunto de datos está altamente desequilibrado y la clase de interés (positiva) es la minoritaria.
Los Falsos Positivos son particularmente costosos o indeseables (ej. detección de fraude, diagnóstico médico).
El objetivo principal es identificar el mayor número posible de verdaderos positivos (alto Recall) minimizando falsos positivos (alta Precisión).
Te interesa el rendimiento del modelo exclusivamente sobre la clase positiva.

Conclusión

Ambas curvas son valiosas. ROC AUC ofrece una visión general de la capacidad de discriminación del modelo, útil cuando las tasas de error son igualmente importantes y el desequilibrio no es extremo. Por otro lado, Precision-Recall es superior y más informativa con datos altamente desequilibrados y cuando el foco principal está en el rendimiento de la clase minoritaria, donde los Falsos Positivos tienen consecuencias significativas.

Para una evaluación completa, es recomendable analizar ambas curvas y otras métricas relevantes para el problema de negocio. Entender el contexto y los costes de los errores es fundamental para elegir la métrica adecuada y tomar decisiones informadas sobre el rendimiento del modelo.