XGBoost. Stimularea gradientului extrem pentru aplicații miniere

Recenzii ale cititorilor

În prezent, nu există recenzii ale cititorilor. Evaluarea se bazează pe 3 voturi.

Titlul original:

XGBoost. The Extreme Gradient Boosting for Mining Applications

Conținutul cărții:

Raport tehnic din anul 2017 la disciplina Informatică - Internet, Noi Tehnologii, clasa: 8, limba: English, abstract: Tree boosting s-a dovedit empiric a fi o abordare extrem de eficientă și versatilă pentru modelarea bazată pe date. Argumentul de bază este că tree boosting poate determina în mod adaptiv vecinătățile locale ale modelului, luând astfel în considerare compromisul părtinire-varianță în timpul ajustării modelului.

Recent, o metodă tree boosting cunoscută sub numele de XGBoost a câștigat popularitate prin faptul că oferă o precizie mai mare. XGBoost introduce în continuare unele îmbunătățiri care îi permit să abordeze și mai atent compromisul tendință-varianță. În această lucrare de cercetare, ne propunem să demonstrăm utilizarea unei proceduri adaptive, și anume Learned Loss (LL), pentru a actualiza funcția de pierdere pe măsură ce boosting-ul avansează.

Precizia algoritmului propus, și anume XGBoost cu funcția de amplificare Learned Loss, este evaluată utilizând metoda test/train, validarea încrucișată K-fold și validarea încrucișată Stratified și comparată cu algoritmii de ultimă generație, și anume XGBoost, AdaBoost, AdaBoost-NN, Regresia liniară (LR), Rețeaua neuronală (NN), Arborele decizional (DT), Mașina vectorială de sprijin (SVM), algoritmii bagging-DT, bagging-NN și Random Forest. Parametrii evaluați sunt precizia, eroarea de tip 1 și eroarea de tip 2 (în procente).

Acest studiu utilizează un total de zece ani de date istorice, din ianuarie 2007 până în august 2017, a doi indici bursieri CNX Nifty și S&P BSE Sensex, care sunt foarte voluminoși. În continuare, în această lucrare de cercetare, vom investiga modul în care XGBoost diferă de tehnicile de ansamblu mai tradiționale. În plus, vom discuta tehnicile de regularizare pe care le oferă aceste metode și efectul pe care acestea îl au asupra modelelor.

În plus, vom încerca să răspundem la întrebarea de ce XGBoost pare să câștige atât de multe competiții. Pentru a face acest lucru, vom oferi câteva argumente pentru care tree boosting, și în special XGBoost, pare a fi o abordare atât de eficientă și versatilă t.