XGBoost optimizado mediante optimización adaptativa de enjambre de partículas para la calificación crediticia
Autores: Qin, Chao; Zhang, Yunfeng; Bao, Fangxun; Zhang, Caiming; Liu, Peide; Liu, Peipei
Idioma: Inglés
Editor: Hindawi
Año: 2021
Disponible con Suscripción Virtualpro
Artículos
Categoría
Matemáticas
Licencia
Atribución – Compartir igual
Consultas: 9
Citaciones: Sin citaciones
La calificacin del crdito personal es un reto. En los ltimos aos, la investigacin ha demostrado que el aprendizaje automtico tiene un rendimiento satisfactorio en la calificacin crediticia. Debido a las ventajas de la combinacin y seleccin de caractersticas, los rboles de decisin pueden ajustarse a datos crediticios que tienen una dimensin elevada y una correlacin compleja. Sin embargo, los rboles de decisin tienden a sobreajustarse. eXtreme Gradient Boosting es un rbol avanzado mejorado por gradiente que supera sus deficiencias mediante la integracin de modelos de rbol. La estructura del modelo se determina mediante hiperparmetros, lo que tiene por objeto el problema laborioso y lento del ajuste manual, y se emplea el mtodo de optimizacin para el ajuste. Como la optimizacin de enjambre de partculas describe el estado de las partculas y su ley de movimiento como nmeros reales continuos, el hiperparmetro aplicable al eXtreme Gradient Boosting puede encontrar su valor ptimo en el espacio de bsqueda continuo. Sin embargo, la optimizacin clsica por enjambre de partculas tiende a caer en ptimos locales. Para resolver este problema, este artculo propone un modelo de puntuacin de crdito eXtreme Gradient Boosting basado en la optimizacin adaptativa de enjambre de partculas. La divisin del enjambre, que se basa en la idea de agrupacin y en dos tipos de estrategias de aprendizaje, se emplea para guiar a las partculas con el fin de mejorar la diversidad de los subenjambres y evitar que el algoritmo caiga en un ptimo local. En el experimento se comparan varios algoritmos tradicionales de aprendizaje automtico y clasificadores populares de aprendizaje por conjuntos, as como cuatro mtodos de optimizacin de hiperparmetros (bsqueda en cuadrcula, bsqueda aleatoria, estimador de Parzen estructurado en rbol y optimizacin de enjambre de partculas). Se realizaron experimentos con cuatro conjuntos de datos de crdito y siete conjuntos de datos de referencia KEEL sobre cinco medidas de evaluacin populares: precisin, tasa de error (error de tipo I y error de tipo II), puntuacin Brier y puntuacin. Los resultados demuestran que el modelo propuesto supera a otros modelos por trmino medio. Adems, la optimizacin adaptativa de enjambre de partculas obtiene mejores resultados que las dems estrategias de optimizacin de hiperparmetros.
Descripción
La calificacin del crdito personal es un reto. En los ltimos aos, la investigacin ha demostrado que el aprendizaje automtico tiene un rendimiento satisfactorio en la calificacin crediticia. Debido a las ventajas de la combinacin y seleccin de caractersticas, los rboles de decisin pueden ajustarse a datos crediticios que tienen una dimensin elevada y una correlacin compleja. Sin embargo, los rboles de decisin tienden a sobreajustarse. eXtreme Gradient Boosting es un rbol avanzado mejorado por gradiente que supera sus deficiencias mediante la integracin de modelos de rbol. La estructura del modelo se determina mediante hiperparmetros, lo que tiene por objeto el problema laborioso y lento del ajuste manual, y se emplea el mtodo de optimizacin para el ajuste. Como la optimizacin de enjambre de partculas describe el estado de las partculas y su ley de movimiento como nmeros reales continuos, el hiperparmetro aplicable al eXtreme Gradient Boosting puede encontrar su valor ptimo en el espacio de bsqueda continuo. Sin embargo, la optimizacin clsica por enjambre de partculas tiende a caer en ptimos locales. Para resolver este problema, este artculo propone un modelo de puntuacin de crdito eXtreme Gradient Boosting basado en la optimizacin adaptativa de enjambre de partculas. La divisin del enjambre, que se basa en la idea de agrupacin y en dos tipos de estrategias de aprendizaje, se emplea para guiar a las partculas con el fin de mejorar la diversidad de los subenjambres y evitar que el algoritmo caiga en un ptimo local. En el experimento se comparan varios algoritmos tradicionales de aprendizaje automtico y clasificadores populares de aprendizaje por conjuntos, as como cuatro mtodos de optimizacin de hiperparmetros (bsqueda en cuadrcula, bsqueda aleatoria, estimador de Parzen estructurado en rbol y optimizacin de enjambre de partculas). Se realizaron experimentos con cuatro conjuntos de datos de crdito y siete conjuntos de datos de referencia KEEL sobre cinco medidas de evaluacin populares: precisin, tasa de error (error de tipo I y error de tipo II), puntuacin Brier y puntuacin. Los resultados demuestran que el modelo propuesto supera a otros modelos por trmino medio. Adems, la optimizacin adaptativa de enjambre de partculas obtiene mejores resultados que las dems estrategias de optimizacin de hiperparmetros.