clasificarea este procesul de predicție a clasei de puncte de date date. Clasele sunt uneori numite ca ținte / etichete sau categorii. Clasificarea modelarea predictivă este sarcina aproximării unei funcții de mapare (f) de la variabilele de intrare (X) la variabilele de ieșire discrete (y).
de exemplu, detectarea spamului la furnizorii de servicii de e-mail poate fi identificată ca o problemă de clasificare. Aceasta este clasificarea binară s, deoarece există doar 2 clase ca spam și nu spam. Un clasificator utilizează unele date de instruire pentru a înțelege modul în care variabilele de intrare date se raportează la clasă. În acest caz, e-mailurile spam și non-spam cunoscute trebuie utilizate ca date de instruire. Când clasificatorul este instruit cu exactitate, acesta poate fi utilizat pentru a detecta un e-mail necunoscut.
Clasificarea face parte din categoria învățării supravegheate în care țintele au furnizat, de asemenea, datele de intrare. Există multe aplicații în clasificare în multe domenii, cum ar fi aprobarea creditului, diagnosticul medical, marketingul țintă etc.
există două tipuri de cursanți în clasificarea ca cursanți leneși și cursanți dornici.
- Lazy learners
Lazy learners pur și simplu stoca datele de formare și așteptați până când apar date de testare. Atunci când o face, clasificarea se efectuează pe baza celor mai corelate date din datele de instruire stocate. În comparație cu elevii dornici, elevii leneși au mai puțin timp de antrenament, dar mai mult timp în predicție.
Ex. k-cel mai apropiat vecin, raționament bazat pe caz
2. Eager learners
eager learners construiesc un model de clasificare bazat pe datele de instruire date înainte de a primi date pentru clasificare. Trebuie să fie capabil să se angajeze la o singură ipoteză care acoperă întregul spațiu de instanță. Datorită construcției modelului, cursanții dornici iau mult timp pentru tren și mai puțin timp pentru a prezice.
Ex. Arbore de decizie, Bayes naiv, rețele neuronale artificiale
algoritmi de clasificare
există o mulțime de algoritmi de clasificare disponibili acum, dar nu este posibil să se concluzioneze care este superior celuilalt. Depinde de aplicarea și natura setului de date disponibile. De exemplu, dacă clasele sunt separabile liniar, clasificatorilor liniari le place regresia logistică, discriminantul liniar al lui Fisher poate depăși modelele sofisticate și invers.
Arborele decizional
>
arborele de decizie construiește modele de clasificare sau regresie sub forma unei structuri arborescente. Utilizează un set de reguli if-then care se exclude reciproc și este exhaustiv pentru clasificare. Regulile sunt învățate secvențial folosind datele de antrenament pe rând. De fiecare dată când se învață o regulă, tuplurile acoperite de reguli sunt eliminate. Acest proces este continuat pe setul de instruire până la îndeplinirea unei condiții de reziliere.
arborele este construit într-o manieră recursivă de sus în jos. Toate atributele ar trebui să fie categorice. În caz contrar, acestea ar trebui discretizate în avans. Atributele din partea de sus a arborelui au un impact mai mare asupra clasificării și sunt identificate folosind conceptul de câștig de informații.
un arbore de decizie poate fi ușor supra-montat generând prea multe ramuri și poate reflecta anomalii datorate zgomotului sau valorilor aberante. Un model supra-montat are o performanță foarte slabă asupra datelor nevăzute, chiar dacă oferă o performanță impresionantă asupra datelor de antrenament. Acest lucru poate fi evitat prin pre-tăiere care oprește construcția copacilor devreme sau post-tăiere care îndepărtează ramurile din copacul complet crescut.
Bayes naiv
Bayes naiv este un clasificator probabilistic inspirat de teorema Bayes sub o presupunere simplă, care este atributele sunt condițional independente.
clasificarea se realizează prin derivarea posteriorului maxim care este maxim p(ci / X) cu presupunerea de mai sus care se aplică teoremei Bayes. Această presupunere reduce foarte mult costul de calcul doar prin numărarea distribuției clasei. Chiar dacă presupunerea nu este valabilă în majoritatea cazurilor, deoarece atributele sunt dependente, Bayes surprinzător de naiv a reușit să funcționeze impresionant.
naiv Bayes este un algoritm foarte simplu de implementat și rezultate bune au obținut în majoritatea cazurilor. Poate fi ușor scalabil la seturi de date mai mari, deoarece necesită timp liniar, mai degrabă decât prin aproximare iterativă costisitoare, așa cum este utilizat pentru multe alte tipuri de clasificatori.
Bayes naiv poate suferi de o problemă numită problema probabilității zero. Când probabilitatea condiționată este zero pentru un anumit atribut, nu reușește să dea o predicție validă. Acest lucru trebuie stabilit în mod explicit folosind un estimator Laplacian.
rețele neuronale artificiale
>
rețeaua neuronală artificială este un set de unități de intrare / ieșire conectate în care fiecare conexiune are o greutate asociată cu ea inițiată de psihologi și neurobiologi pentru a dezvolta și testa analogii computaționali ai neuronilor. În timpul fazei de învățare, rețeaua învață prin ajustarea greutăților astfel încât să poată prezice eticheta de clasă corectă a tuplurilor de intrare.
există multe arhitecturi de rețea disponibile acum, cum ar fi Feed-forward, convoluțional, recurent etc. Arhitectura adecvată depinde de aplicarea modelului. În majoritatea cazurilor, modelele feed-forward oferă rezultate destul de precise și, în special pentru aplicațiile de procesare a imaginilor, rețelele convoluționale au performanțe mai bune.
pot exista mai multe straturi ascunse în model în funcție de complexitatea funcției care va fi mapată de model. Având mai multe straturi ascunse va permite să modeleze relații complexe, cum ar fi rețelele neuronale profunde.
cu toate acestea, atunci când există mai multe straturi ascunse, este nevoie de o mulțime de timp pentru a instrui și ajusta wights. Celălalt dezavantaj al este interpretabilitatea slabă a modelului în comparație cu alte modele, cum ar fi arborii de decizie, datorită semnificației simbolice necunoscute din spatele greutăților învățate.
dar rețelele neuronale artificiale au funcționat impresionant în majoritatea aplicațiilor din lumea reală. Este o toleranță ridicată la datele zgomotoase și capabilă să clasifice modelele neinstruite. De obicei, rețelele neuronale artificiale funcționează mai bine cu intrări și ieșiri cu valoare continuă.
toți algoritmii de mai sus sunt cursanți dornici, deoarece pregătesc un model în avans pentru a generaliza datele de antrenament și a le folosi pentru predicție mai târziu.
k-cel mai apropiat vecin (KNN)
k-cel mai apropiat vecin este un algoritm de învățare leneș care stochează toate instanțele corespund punctelor de date de formare în spațiul n-dimensional. Când se primesc date discrete necunoscute, analizează cel mai apropiat k numărul de instanțe salvate (vecinii cei mai apropiați)și returnează cea mai comună clasă ca predicție, iar pentru datele cu valoare reală returnează media k vecinii cei mai apropiați.
în algoritmul cel mai apropiat vecin ponderat la distanță, acesta cântărește contribuția fiecăruia dintre vecinii k în funcție de distanța lor folosind următoarea interogare, oferind o greutate mai mare vecinilor apropiați.
Usually KNN is robust to noisy data since it is averaging the k-nearest neighbors.