Il data mining, noto anche come scoperta della conoscenza nei dati (KDD - knowledge discovery in data), è il processo di identificazione di modelli e altre informazioni preziose in grandi dataset. Data l'evoluzione della tecnologia di data warehousing e la crescita dei big data, l'adozione di tecniche di data mining ha accelerato rapidamente negli ultimi due decenni, aiutando le aziende a trasformare i loro dati grezzi in conoscenza utile. Tuttavia, nonostante la tecnologia si evolva continuamente per gestire i dati su larga scala, i manager devono ancora confrontarsi con le sfide della scalabilità e dell'automazione.

Il data mining ha migliorato il processo decisionale organizzativo attraverso analisi approfondite dei dati. Le tecniche di data mining alla base di queste analisi possono essere divise in due obiettivi principali: possono descrivere il dataset di destinazione o possono predire i risultati attraverso l'uso di algoritmi di  machine learning . Questi metodi sono utilizzati per organizzare e filtrare i dati, facendo emergere le informazioni più interessanti, dal rilevamento delle frodi ai comportamenti degli utenti, ai colli di bottiglia e persino alle violazioni di sicurezza.

Se combinato con strumenti di analisi e visualizzazione dei dati, come  Apache Spark, addentrarsi nel mondo del data mining non è mai stato così facile ed estrarre insight rilevanti non è mai stato così veloce. I progressi nel campo dell' AI  non fanno che continuare ad accelerarne l'adozione in tutti i settori. 

Il processo di data mining coinvolge una serie di passi, dalla raccolta dei dati alla visualizzazione, per estrarre informazioni preziose da grandi dataset. Come già detto, le tecniche di data mining sono utilizzate per generare descrizioni e previsioni basate su un dataset di riferimento. Gli scienziati dei dati descrivono i dati attraverso le loro osservazioni di modelli, associazioni e correlazioni. Inoltre, classificano e raggruppano i dati attraverso metodi di classificazione e regressione, e identificano gli elementi anomali a seconda dei casi d'uso, come il rilevamento dello spam.

Il data mining di solito consiste in quattro fasi principali: definizione degli obiettivi, raccolta e preparazione dei dati, applicazione degli algoritmi di data mining e valutazione dei risultati.

1. Impostare gli obiettivi aziendali:  questa può essere la parte più difficile del processo di data mining, e molte organizzazioni dedicano troppo poco tempo a questa fase importante. Data scientist e stakeholder aziendali hanno bisogno di lavorare insieme per definire il problema aziendale, il che permette di individuare le domande e i parametri dei dati per un dato progetto. Gli analisti possono anche aver bisogno di fare ulteriori ricerche per comprendere adeguatamente il contesto aziendale.

2. Preparazione dei dati:  una volta definito l'ambito del problema, è più facile per i data scientist identificare quale set di dati aiuterà a rispondere alle domande pertinenti al business. Una volta raccolti i dati rilevanti, questi saranno puliti, rimuovendo qualsiasi rumore, come duplicati, valori mancanti e valori anomali. A seconda del dataset, è possibile fare un ulteriore passo per ridurre il numero di dimensioni, poiché troppe caratteristiche possono rallentare i calcoli successivi. I data scientist cercheranno di conservare i predittori più importanti per garantire una precisione ottimale all'interno di qualsiasi modello.

3. Creazione del modello e schema del mining: a seconda del tipo di analisi, i data scientist possono investigare qualsiasi relazione interessante tra i dati, come modelli sequenziali, regole di associazione o correlazioni. Mentre i modelli ad alta frequenza hanno applicazioni più ampie, a volte le deviazioni nei dati possono essere più interessanti, evidenziando aree di potenziale frode.

È anche possibile applicare algoritmi di deep learning  per classificare o raggruppare un dataset a seconda dei dati disponibili. Se i dati di input sono etichettati (cioè supervised learning), si può usare un modello di classificazione per categorizzare i dati, o in alternativa, si può applicare una regressione per prevedere la probabilità di una particolare assegnazione. Se il dataset non è etichettato (cioè unsupervised learning), i singoli punti di dati nel set di addestramento vengono confrontati tra loro per scoprire le somiglianze sottostanti, raggruppandoli in base a queste caratteristiche.

4. Valutazione dei risultati e implementazione delle conoscenze: una volta che i dati sono aggregati, i risultati devono essere valutati e interpretati. Quando si finalizzano, i risultati devono essere validi, nuovi, utili e comprensibili. Se questi criteri sono soddisfatti, le organizzazioni possono usare queste conoscenze per implementare nuove strategie, raggiungendo gli obiettivi prefissati.

Il data mining funziona utilizzando vari algoritmi e tecniche per trasformare grandi volumi di dati in informazioni utili. Ecco alcuni dei più comuni:

Regole di associazione:  una regola di associazione è un metodo basato su regole per trovare relazioni tra variabili in un determinato dataset. Questi metodi sono usati frequentemente per l'analisi market basket, permettendo alle aziende di capire meglio le relazioni tra i diversi prodotti. Comprendere le abitudini di consumo dei clienti permette alle aziende di sviluppare migliori strategie di cross-selling e sistemi di raccomandazione.

Reti neurali:  sfruttate principalmente per algoritmi di deep learning, le reti neurali elaborano i dati di formazione imitando l'interconnettività del cervello umano attraverso strati di nodi. Ogni nodo è composto da input, pesi, un bias (o soglia) e un output. Se questo valore di output supera una data soglia, "accende" o attiva il nodo, passando i dati al livello successivo della rete. Le reti neurali imparano questa funzione di mappatura attraverso il supervised learning, regolandosi in base alla funzione di perdita attraverso il processo di discesa del gradiente. Quando la funzione di costo è uguale o vicina allo zero, possiamo essere fiduciosi che il modello sia in grado di dare la risposta corretta.

Albero decisionale:  questa tecnica di data mining utilizza metodi di classificazione o regressione per classificare o prevedere potenziali risultati basati su un insieme di decisioni. Come suggerisce il nome, usa una visualizzazione ad albero per rappresentare i potenziali risultati di queste decisioni.

K- nearest neighbor (KNN): K-nearest neighbor, noto anche come algoritmo KNN, è un algoritmo non parametrico che classifica i punti di dati in base alla loro vicinanza e associazione con altri dati disponibili. Questo algoritmo presuppone che punti di dati simili possano essere trovati uno vicino all'altro. Di conseguenza, cerca di calcolare la distanza tra i punti di dati, di solito attraverso la distanza euclidea, e poi assegna una categoria basandosi sulla categoria più frequente o sulla media.

Le tecniche di data mining sono ampiamente adottate dai team di business intelligence e data analytics, aiutandoli a estrarre la conoscenza per la loro organizzazione e industria. Alcuni casi d'uso del data mining includono:

Vendite e marketing
 

Le aziende raccolgono un'enorme quantità di dati sui loro clienti e potenziali clienti. Osservando i dati demografici dei consumatori e il comportamento degli utenti online, le aziende possono utilizzare i dati per ottimizzare le loro campagne di marketing, migliorando la segmentazione, le offerte di cross-selling e i programmi di fidelizzazione dei clienti, ottenendo un ROI più elevato dalle attività di marketing. Le analisi predittive possono anche aiutare i team a determinare le aspettative con i loro stakeholder, fornendo stime di rendimento provenienti da eventuali aumenti o diminuzioni degli investimenti di marketing.

Formazione
 

Gli istituti scolastici hanno iniziato a raccogliere dati per capire le proprie comunità di studenti e quali ambienti sono favorevoli al successo. Man mano che i corsi continuano a trasferirsi su piattaforme online, possono usare una varietà di parametri e metriche per osservare e valutare le prestazioni, come i tasti premuti, i profili degli studenti, le classi, le università, il tempo trascorso, ecc.

Ottimizzazione delle operazioni
 

Il mining dei processi  sfrutta le tecniche di data mining per ridurre i costi nelle funzioni operative, permettendo alle organizzazioni di funzionare in modo più efficiente. Questa pratica ha aiutato a identificare costosi colli di bottiglia e a migliorare il processo decisionale dei leader aziendali.

Rilevamento frodi
 

Se da un lato i modelli che si verificano frequentemente nei dati possono fornire ai team preziosi insight, anche l'osservazione delle anomalie dei dati è vantaggiosa in quanto aiuta le aziende a individuare le frodi. Mentre questo è un caso d'uso ben noto all'interno delle banche e di altre istituzioni finanziarie, le aziende basate su SaaS hanno anche iniziato ad adottare queste pratiche per eliminare gli account utente falsi dai loro dataset.