classificatie is het proces van het voorspellen van de klasse van gegeven gegevenspunten. Klassen worden soms genoemd als doelen / labels of categorieën. Classificatie voorspellende modellering is de taak van het benaderen van een mapping functie (f) van input variabelen (X) naar discrete output variabelen (y).
bijvoorbeeld, spamdetectie in e – mailserviceproviders kan worden geïdentificeerd als een classificatieprobleem. Dit is s binaire classificatie aangezien er slechts 2 klassen als spam en niet spam. Een classifier gebruikt enkele trainingsgegevens om te begrijpen hoe gegeven inputvariabelen zich verhouden tot de klasse. In dit geval moeten bekende spam-en non-spam-e-mails als trainingsgegevens worden gebruikt. Wanneer de classifier nauwkeurig wordt getraind, kan het worden gebruikt om een onbekende e-mail te detecteren.
classificatie behoort tot de categorie onder toezicht leren, waarbij de doelen ook voorzien van de inputgegevens. Er zijn vele toepassingen in classificatie op vele gebieden zoals in kredietgoedkeuring, medische diagnose, doelmarketing enz.
Er zijn twee typen lerenden in de classificatie als luie lerenden en gretige lerenden.
- luie lerenden
sla de trainingsgegevens op en wacht tot er testgegevens verschijnen. Wanneer dit gebeurt, wordt de classificatie uitgevoerd op basis van de meest verwante gegevens in de opgeslagen trainingsgegevens. In vergelijking met enthousiaste leerlingen, luie leerlingen hebben minder training tijd, maar meer tijd in het voorspellen.
Ex. k-dichtstbijzijnde buur, Case-based reasoning
2. Eager learners
Eager learners construeer een Classificatiemodel op basis van de gegeven trainingsgegevens alvorens gegevens voor classificatie te ontvangen. Het moet in staat zijn om zich te committeren aan een enkele hypothese die de gehele instantie ruimte beslaat. Door de modelbouw nemen enthousiaste leerlingen veel tijd in beslag om te trainen en minder tijd om te voorspellen.
Ex. Beslissingsboom, naïeve Bayes, kunstmatige neurale netwerken
Classificatiealgoritmen
Er zijn nu veel classificatiealgoritmen beschikbaar, maar het is niet mogelijk om te concluderen welke van de twee superieur is aan de andere. Het hangt af van de toepassing en de aard van de beschikbare dataset. Bijvoorbeeld, als de klassen lineair scheidbaar zijn, kunnen de lineaire classifiers zoals logistische regressie, Fisher ‘ s linear discriminant geavanceerde modellen overtreffen en vice versa.
Decision Tree
decision tree bouwt classificatie-of regressiemodellen in de vorm van een boomstructuur. Het maakt gebruik van een set if-then-regels die elkaar uitsluiten en uitputtend zijn voor classificatie. De regels worden achtereenvolgens geleerd met behulp van de trainingsgegevens een voor een. Elke keer dat een regel wordt geleerd, worden de tupels die onder de regels vallen verwijderd. Dit proces wordt voortgezet op de trainingsset tot het voldoen aan een beëindigingsvoorwaarde.
De boom is opgebouwd op een top-down recursieve verdeel-en-heers manier. Alle attributen moeten categorisch zijn. Anders moeten ze vooraf discreet worden behandeld. Attributen in de top van de boom hebben meer invloed op in de classificatie en ze worden geïdentificeerd met behulp van de informatie winst concept.
een beslissingsboom kan gemakkelijk worden overgemonteerd en kan te veel vertakkingen veroorzaken en anomalieën als gevolg van lawaai of uitschieters weerspiegelen. Een over-gemonteerd model heeft een zeer slechte prestaties op de unseen gegevens, hoewel het geeft een indrukwekkende prestaties op de trainingsgegevens. Dit kan worden voorkomen door voorsnoeien waardoor de Boombouw vroeg stopt of na het snoeien waardoor takken van de volgroeide boom worden verwijderd.
Naive Bayes
Naive Bayes is een probabilistische classifier geïnspireerd door de stelling van Bayes onder een eenvoudige aanname dat de attributen voorwaardelijk onafhankelijk zijn.
De classificatie wordt uitgevoerd door het afleiden van de maximale posterieure die de maximale p(ci/X) is met de bovenstaande aanname die van toepassing is op de stelling van Bayes. Deze veronderstelling vermindert de rekenkosten sterk door alleen de klassenverdeling te tellen. Hoewel de aanname is niet geldig in de meeste gevallen, omdat de attributen afhankelijk zijn, verrassend naïef Bayes heeft in staat om indrukwekkend uit te voeren.
Naive Bayes is een zeer eenvoudig algoritme om te implementeren en in de meeste gevallen zijn goede resultaten behaald. Het kan gemakkelijk schaalbaar zijn naar grotere datasets omdat het lineaire tijd kost, in plaats van door dure iteratieve benadering zoals gebruikt voor vele andere soorten classifiers.
naïeve Bayes kunnen last hebben van een probleem dat het nulwaarschijnlijkheidsprobleem wordt genoemd. Wanneer de voorwaardelijke kans nul is voor een bepaald attribuut, kan het geen geldige voorspelling geven. Dit moet expliciet worden vastgesteld met behulp van een Laplacian estimator.
Artificiële Neurale Netwerken
Kunstmatig Neuraal Netwerk is een set van verbonden-ingang/uitgang units waar elke verbinding heeft een gewicht geassocieerd met het begon met psychologen en neurobiologists het ontwikkelen en testen van rekenkundige variant van neuronen. Tijdens de leerfase leert het netwerk door de gewichten aan te passen om zo het juiste klassenetiket van de input tupels te kunnen voorspellen.
Er zijn nu veel netwerkarchitecturen beschikbaar zoals Feed-forward, Convolutional, Recurrent etc. De juiste architectuur hangt af van de toepassing van het model. In de meeste gevallen leveren feed-forward modellen redelijk nauwkeurige resultaten op en vooral voor beeldverwerkingstoepassingen presteren convolutionele netwerken beter.
Er kunnen meerdere verborgen lagen in het model zijn, afhankelijk van de complexiteit van de functie die door het model wordt toegewezen. Het hebben van meer verborgen lagen zal het mogelijk maken om complexe relaties zoals diepe neurale netwerken te modelleren.
echter, wanneer er veel verborgen lagen zijn, kost het veel tijd om wights te trainen en aan te passen. Het andere nadeel van is de slechte interpreteerbaarheid van model in vergelijking met andere modellen zoals beslissingsbomen vanwege de onbekende symbolische betekenis achter de geleerde gewichten.
maar kunstmatige neurale netwerken hebben indrukwekkend gepresteerd in de meeste toepassingen in de echte wereld. Het is een hoge tolerantie voor lawaaierige gegevens en in staat om ongetrainde patronen te classificeren. Meestal presteren kunstmatige neurale netwerken beter met continu gewaardeerde in-en uitgangen.
alle bovenstaande algoritmen zijn leergierig omdat ze van tevoren een model trainen om de trainingsgegevens te veralgemenen en later te gebruiken voor voorspelling.
k-dichtstbijzijnde buurman (KNN)
k-nearest buur is een lazy learning algoritme dat alle instanties opslaat die overeenkomen met trainingsgegevenspunten in n-dimensionale ruimte. Wanneer een onbekende discrete gegevens wordt ontvangen, analyseert het het dichtstbijzijnde k aantal opgeslagen gevallen (dichtstbijzijnde buren) en geeft de meest voorkomende klasse als de voorspelling en voor real-gewaardeerde gegevens geeft het het gemiddelde van k dichtstbijzijnde buren.
in het distance-weighted nearest neighbor algoritme weegt het de bijdrage van elk van de k-buren op basis van hun afstand met behulp van de volgende query die meer gewicht geeft aan de dichtstbijzijnde buren.
Usually KNN is robust to noisy data since it is averaging the k-nearest neighbors.