Que es Xgboost machine learning python algoritmos ?

Xgboost es un boosting de Arboles de Decision, es decir, hacer un emsamble de distintos boosting de arboles de decision, donde cada arbol intenta predecir lo que el anterior arbol prefijo de forma incorrecta, de modo que combinando gran cantidad de arboles hacer una mejor prediccion , se utiliza para problemas de clasificacion o regresion.

Datos que podrian Interesarle:

Dale click a las imagenes para ver esos temas:

XGBoost Teoria:

Funcion objetivo en XGBoosst
Funcion objetivo en XGBoosst

XGBoost tiene una funcion objetivo que tratara de minimizar, que depende de los parametros aprendidos en su entrenamiento, L es el error del modelo, es decir el error entre el resultado predecido y el resultado real, y el ultimo simbolo es el factor de regularizacion que te dice la complejidad del modelo.

L error del model en XGBoost
L error del modelo en XGBoost

L es el error de Modelo , donde yi= son los valores reales , yi’ son los valores que predijo el modelo.

La prediccion en un boosting es la prediccion final que se hace como la sumatoria de las predicciones de los distintos arboles, donde i es el dato, k cantidad de arboles, fj es la prediccion de un arbol con ese dato i, entonces la sumatoria de los k arboles es la prediccion final.

XGBoost  el error anterior es corregido por el actual, ver las escuaciones
XGBoost el error de prediccion anterior es corregido por el actual, ver las escuaciones

XGBoost el error de prediccion anterior es corregido por el actual, ver las escuaciones.

Remplazamos el objetivo en ecuacion
Remplazamos el objetivo

En la ecuacion Objetivo tenemos el error de la prediccion mas el error de regularizacion.

Aplicamos la serie de Tylor a la ecuacion anterior.

Ecuacion de complejidad para el XGBoost
Ecuacion de complejidad para el XGBoost

La parte de complejidad que es el factor de regularizacion , entonces la formula de regularizacion es igual a un lambda(hiperparametro) por cantidad de hojas del arbol mas 1/2 por gamma( hiperparametro) por la sumatoria de j hasta T(cantidad de hojas del arbol) de WJ(valor de la jesima hoja)**2

Ejemplo de calcula de factor de Regulacion de un Arbol

Ejemplo de calcula de factor de Regulacion de un Arbol
Ejemplo de calcula de factor de Regulacion de un Arbol

Se calcula el factor de Regulacion de este Arbol como gama por 3(cantidad de nodos hojas) + 1/2*delta*(2*2 + 0.1*0.1 + -1*-1) este ultimo calculo es la sumatoria de los valores del nodo hoja al cuadrado.

plus: combinar 100 xgbost para competencia.-kdtree, normalizar los datos no es importante en los arboles, pero si en kknn y red neuronal por los pesos

Ajedrez que aprende no es un algoritmo de machine learning, s un reinforcement( juega contra siguo mismo para hacer sus datso), es un tipo de aprendizaje donde no hay un target explicito pero si hay algo que maximizar( puntos en un juego ect) ejemplo alfa cero, pero tambien utiliza redes neuronales ( es posible que sea conbulocional) para evaluar la posicion, en las tradixionales de forma artesanal, lila cero la podemos entrenae y es free. Stickfish es un inteligencia tradicinal, que se hace con un arbol,podarlo con alfa beta pruni ect,

Deja un comentario

Tu direcci贸n de correo electr贸nico no ser谩 publicada. Los campos obligatorios est谩n marcados con *