Spiegazione del data mining
(estrazione dei dati)

Benefici del data mining

• Processo decisionale automatico

  Il data mining permette alle organizzazioni di analizzare dati in modo costante e rendere automatico il processo decisionale sia di routine che critico senza il ritardo del giudizio umano. Le banche possono rilevare le transazioni fraudolente, richiedere verifiche e perfino difendere le informazioni personali immediatamente per proteggere i clienti dal furto d’identità. Questi modelli, impiegati all’interno degli algoritmi operativi di un’azienda, possono raccogliere, analizzare e agire sui dati in modo indipendente, per rendere snello il processo decisionale e migliorare i processi quotidiani di un’organizzazione.

• Predizione e previsione accurate

  La pianificazione è un processo critico all’interno di ogni organizzazione. Il data mining facilita la pianificazione e fornisce ai manager previsioni affidabili in base alle tendenze passate e alle condizioni attuali. Macy’s implementa modelli di previsione della domanda per prevedere la domanda per ciascuna categoria di abbigliamento in ogni negozio e invia le scorte appropriate per soddisfare le necessità del mercato in modo efficiente.

• Riduzione dei costi

  Il data mining permette un uso e un’allocazione delle risorse più efficiente. Le organizzazioni possono pianificare e prendere decisioni automatiche con previsioni accurate che risulteranno in un’ottimizzata riduzione dei costi. Delta ha inserito dei chip RFID nei bagagli soggetti a verifica dei passeggeri e ha impiegato modelli di data mining per identificare i gap nei propri processi e ridurre il numero di bagagli mal gestiti. Il miglioramento di questo processo produce un aumento della soddisfazione dei passeggeri e una diminuzione del costo di ricerca e re-indirizzamento dei bagagli persi.

• Insight sui clienti

  Le aziende utilizzano i modelli di data mining derivati dai dati dei clienti per scoprire le caratteristiche e differenze chiave tra i propri clienti. Il data mining può essere utilizzato per creare dei profili e personalizzare ogni punto di contatto per migliorare l’esperienza generale del cliente. Nel 2017, Disney ha investito oltre un miliardo di dollari per creare e implementare le “Magic Bands.” Queste fasce hanno una relazione simbiotica con i clienti e lavorano per migliorare la loro esperienza generale presso il resort, raccogliendo al contempo i dati relativi alle loro attività, affinché Disney possa analizzarli per migliorare ulteriormente la loro esperienza cliente.

Sfide del data mining

Pur essendo un processo potente, il data mining viene ostacolato dalla sempre maggiore quantità e complessità dei big data. Laddove le aziende raccolgono Exabyte di dati ogni giorno, i decisori necessitano di modi per estrarre, analizzare e ottenere insight dal proprio ampio archivio di dati.

• Big Data

  Le sfide dei big data sono prolifiche e penetrano ogni campo che raccoglie, archivia e analizza dati. I big data presentano quattro sfide principali: volume, varietà, veridicità e velocità. L’obiettivo del data mining è mediare queste sfide e sbloccare il valore dei dati.

  Volume descrive la sfida di conservare ed elaborare l’enorme quantità di dati raccolti dalle organizzazioni. Questa enorme quantità di dati presenta due sfide principali: in primo luogo, è più difficile trovare i dati corretti, e in seconda battuta, rallenta la velocità di elaborazione degli strumenti di data mining.

  Varietà include i molti diversi tipi di dati raccolti e archiviati. Gli strumenti di data mining devono essere predisposti in modo da elaborare simultaneamente una vasta gamma di formati di dati. Un’attenzione insufficiente all’analisi di dati sia strutturati che non strutturati inibisce il valore aggiunto del data mining.

  Velocità esprime in dettaglio la velocità crescente a cui i nuovi dati vengono creati, raccolti e archiviati. Se volume si riferisce ai crescenti requisiti di storage e varietà si riferisce ai crescenti tipi di dati, velocità è la sfida associata al tasso rapidamente crescente della generazione di dati.

  Infine, veridicità riconosce che non tutti i dati sono ugualmente precisi. I dati possono essere disordinati, incompleti, raccolti in modo inappropriato e perfino parziali. Con tutto ciò, più rapidamente si raccolgono i dati, maggiori errori si riscontreranno al loro interno. La sfida della veridicità è bilanciare la quantità dei dati con la sua qualità.

• Modelli sovraparametrizzati

  La sovraparametrizzazione si verifica quando un modello spiega gli errori naturali in un campione invece che le relative tendenze della popolazione. I modelli sovraparametrizzati sono spesso troppo complessi e per generare una previsione utilizzano troppe variabili indipendenti. Pertanto, il rischio della sovraparametrizzazione viene acuito dall’aumento del volume e della varietà dei dati. Un numero troppo scarso di variabili rende il modello irrilevante, mentre troppe variabili limitano il modello ai dati del campione noto. La sfida consiste nel contenere il numero di variabili utilizzate nei modelli di data mining e bilanciare il suo potere predittivo con la precisione.

• Costo del ridimensionamento

  Dal momento che la velocità dei dati continua ad aumentarne il volume e la varietà, le aziende devono ridimensionare questi modelli e applicarli all’intera organizzazione. Per liberare i pieni benefici del data mining con questi modelli, è necessario un investimento significativo nell’infrastruttura informatica e nella potenza di elaborazione. Per effettuare il ridimensionamento, le organizzazioni devono acquistare e mantenere computer, server e software potenti, progettati per gestire la grande quantità e varietà di dati dell’azienda.

• Privacy e sicurezza

  La crescente esigenza di storage dei dati ha obbligato molte aziende a rivolgersi a memorizzazione e cloud computing. Anche se il cloud ha incoraggiato molti sviluppi moderni nel data mining, la natura del servizio crea minacce significative in termini di privacy e sicurezza. Le organizzazioni devono proteggere i propri dati da figure nocive per mantenere la fiducia dei propri partner e clienti.

  Con la privacy dei dati, per le organizzazioni sorge anche la necessità di sviluppare regole e vincoli interni sull’uso e l’implementazione dei dati di un cliente. Il data mining è uno strumento potente che fornisce al business insight interessanti sui propri clienti. Tuttavia, quand’è che questi insight violano la privacy di un individuo? Le organizzazioni devono soppesare questa relazione con i propri clienti, sviluppare politiche a vantaggio della clientela e comunicare queste politiche ai clienti, per mantenere con loro un rapporto di fiducia.

Tipi di data mining

Il data mining presenta due processi primari: l’apprendimento supervisionato e non supervisionato.

• Apprendimento supervisionato

  L’obiettivo dell’apprendimento supervisionato è la previsione o classificazione. Il modo più semplice per concettualizzare questo processo è guardare una singola variabile di output. Un processo viene considerato un apprendimento supervisionato se l’obiettivo del modello è prevedere il valore di un’osservazione. Un esempio sono i filtri anti-spam, che utilizzano l’apprendimento supervisionato per classificare le e-mail in arrivo come contenuto indesiderato e le rimuovono automaticamente dalla Posta in arrivo dell’utente.

  I comuni modelli analitici utilizzati negli approcci supervisionati del data mining sono:

  • Regressioni lineari

    le regressioni lineari predicono il valore di una variabile continua utilizzando uno o più input indipendenti. Gli agenti immobiliari utilizzano le regressioni lineari per prevedere il valore di un’abitazione in base a metratura, rapporto stanze da letto/bagni, anno di costruzione e codice postale.

  • Regressioni logistiche

    le regressioni logistiche prevedono la probabilità di una variabile categorica utilizzando uno o più input indipendenti. Le banche utilizzano le regressioni logistiche per prevedere la probabilità che il richiedente di un prestito si renda inadempiente in base al credit score, al reddito familiare, all’età e ad altri fattori personali.

  • Serie temporali

    i modelli di serie temporali sono strumenti di previsione che utilizzano il tempo quale principale variabile indipendente. I rivenditori, come Macy’s, impiegano i modelli di serie temporali per prevedere la domanda di prodotti in funzione del tempo e utilizzano la previsione per pianificare con precisione e rifornire i negozi con il livello di scorta richiesto.

  • Alberi di classificazione o regressione

    gli alberi di classificazione costituiscono una tecnica di modellazione predittiva che può essere utilizzata per prevedere il valore di entrambe le variabili target categoriche e continue. In base ai dati, il modello creerà serie di regole binarie per suddividere e raggruppare la più elevata proporzione di variabili target simili. In seguito a queste regole, il gruppo in cui ricade una nuova osservazione diventerà il suo valore previsto.

  • Reti neurali

    una rete neurale è un modello analitico ispirato dalla struttura del cervello, dai suoi neuroni e dalle loro connessioni. Questi modelli furono originariamente creati negli anni ‘40, ma solo recentemente hanno acquisito popolarità grazie a statistici e scienziati di dati. Le reti neurali utilizzano input e, in base alla propria grandezza, “accenderanno” o “non accenderanno” il proprio nodo in base alla propria soglia richiesta. Questo segnale, o la sua mancanza, viene quindi combinato con gli altri segnali “accesi” negli strati nascosti della rete, dove il processo si ripete fino alla creazione di un output. Dal momento che uno dei benefici delle reti neurali è un output praticamente immediato, le automobili senza conducente stanno impiegando questi modelli per processare dati in modo efficiente e preciso, per prendere decisioni critiche in autonomia.

  • k-nearest neighbor:

    il metodo k-nearest neighbor viene utilizzato per categorizzare una nuova osservazione in base a osservazioni passate. A differenza dei metodi precedentemente illustrati, k-nearest neighbor è un metodo guidato dai dati, non da un modello. Questo metodo non produce presupposti riguardo ai dati né utilizza processi complessi per interpretare i propri input. L’idea alla base del modello k-nearest neighbor è che le nuove osservazioni vengono classificate attraverso l’identificazione dei k neighbor più vicini e l’assegnazione del valore di maggioranza. Molti sistemi recommender contengono questo metodo per identificare e classificare contenuti simili che verranno successivamente tirati dall’algoritmo più grande.

• Apprendimento non supervisionato

  I compiti non supervisionati si concentrano sul comprendere e descrivere dati per rivelare schemi sottostanti all’interno di essi. I sistemi di raccomandazione usano l’apprendimento non supervisionato per tracciare schemi degli utenti e fornire loro consigli personalizzati per migliorare la loro esperienza cliente.

  I comuni modelli analitici utilizzati negli approcci non supervisionati del data mining sono:

  • Clustering

    I modelli di clustering raggruppano dati simili. La loro migliore applicazione è con set di dati complessi che descrivono una singola entità. Un esempio è la modellazione somigliante, per raggruppare similitudini tra segmenti, identificare cluster e per prendere di mira nuovi gruppi che somigliano a gruppi esistenti.

  • Analisi delle associazioni

    L’analisi delle associazioni, nota anche come “analisi del paniere” (market basket analysis), viene utilizzata per identificare voci che spesso appaiono insieme. I supermercati solitamente utilizzano questo strumento per identificare prodotti accoppiati e diffonderli nel negozio, per incoraggiare i clienti a passare di fianco a più merce e aumentare i loro acquisti.

  • Analisi del componente principale

    L’analisi del componente principale viene utilizzata per illustrare correlazioni nascoste tra variabili di input e creare nuove variabili, definite componenti principali, che catturano le medesime informazioni contenute nei dati originali, ma con un numero inferiore di variabili. Riducendo il numero di variabili utilizzate per comunicare il medesimo livello di informazioni, gli analisti possono aumentare l’utilità e la precisione dei modelli supervisionati di data mining.

• Approcci supervisionati e non supervisionati in pratica

  Pur essendo possibile utilizzare ciascun approccio in modo indipendente, è molto comune utilizzarli entrambi durante un’analisi. Ciascun approccio possiede vantaggi unici e viene combinato per aumentare la solidità, la stabilità e l’utilità generale dei modelli di data mining. I modelli supervisionati possono trarre vantaggio dalle variabili di nesting derivate da modelli non supervisionati. Ad esempio, una variabile cluster all’interno di un modello di regressione permette agli analisti di eliminare le variabili ridondanti dal modello e migliorare la sua precisione. Poiché gli approcci non supervisionati rivelano le relazioni sottostanti all’interno dei dati, gli analisti devono utilizzare gli insight dall’apprendimento non supervisionato per lanciare la propria analisi supervisionata.

Tendenze del data mining

• Standardizzazione del linguaggio

  Allo stesso modo in cui il linguaggio SQL si è evoluto diventando il linguaggio più importante per i database, gli utenti stanno iniziando a richiedere una standardizzazione per il data mining. Questa spinta permette agli utenti di interagire comodamente con molte piattaforme diverse di mining imparando solamente un linguaggio standard. Anche se gli sviluppatori esitano a introdurre questo cambiamento, poiché molti utenti continuano a supportarlo, nei prossimi anni possiamo aspettarci lo sviluppo di un linguaggio standard.

• Mining scientifico

  Grazie al suo comprovato successo nel mondo del business, il data mining sta trovando applicazione nella ricerca scientifica e accademica. Gli psicologi oggi utilizzano l’analisi dell’associazione per tracciare e identificare schemi più ampi nel comportamento umano, a supporto della propria ricerca. Similmente, gli economisti si servono degli algoritmi di previsione per prevedere futuri cambiamenti del mercato in base alle variabili attuali.

• Oggetti di dati complessi

  Con l’espansione del data mining per influenzare altri dipartimenti e campi, si stanno sviluppando nuovi metodi per analizzare dati sempre più diversificati e complessi. Google ha sperimentato uno strumento di ricerca visiva per mezzo del quale gli utenti possono condurre una ricerca utilizzando un’immagine come input, al posto del testo. Gli strumenti di data mining non possono più contenere solo testo e numeri, ma devono anche avere la capacità di elaborare e analizzare una varietà di tipi di dati complessi.

• Velocità di computing aumentata

  Con l’aumento delle dimensioni, della complessità e della diversificazione dei dati, gli strumenti di data mining necessitano di computer più veloci e metodi di analisi dei dati più efficienti. Ogni nuova osservazione aggiunge un ciclo extra di computing a un’analisi. Con l’aumento esponenziale della quantità di dati, aumenta anche il numero di cicli necessari per elaborare i dati. Le tecniche statistiche, come il clustering, sono state create per gestire efficacemente alcune migliaia di osservazione con una dozzina di variabili. Tuttavia, con le organizzazioni che raccolgono milioni di nuove osservazioni con centinaia di variabili, i calcoli possono diventare troppo complessi per essere gestiti dalla maggior parte dei computer. Con la crescita delle dimensioni dei dati, sono necessari computer più veloci e metodi più efficienti per soddisfare la potenza di computing richiesta per l’analisi.

• Web mining

  Con l’espansione di Internet, la scoperta di schemi e tendenze di utilizzo ha un grande valore per le organizzazioni. Il web mining utilizza le medesime tecniche del data mining e le applica direttamente a Internet. Esistono tre tipi principali di web mining: mining di contenuto, mining di struttura e mining di utilizzo. I rivenditori online, come Amazon, utilizzano il web mining per comprendere in che modo i clienti navighino nella propria pagina web. Questi insight permettono ad Amazon di ristrutturare la propria piattaforma per migliorare l’esperienza cliente e aumentare gli acquisti.

  La proliferazione dei contenuti web è stata lo stimolo per il World Wide Web Consortium (W3C) all’introduzione di standard per il web semantico. Ciò fornisce un metodo standardizzato per utilizzare formati di dati comuni e protocolli di scambio sul web, rendendo più semplice la condivisione, il riutilizzo e l’applicazione dei dati tra regioni e sistemi. Questa standardizzazione rende più semplice l’estrazione di grandi quantità di dati per scopi di analisi.

Strumenti del data mining

Le soluzioni di data mining si sono moltiplicate, quindi è importante comprendere in modo approfondito i propri obiettivi specifici e abbinarli agli strumenti e alle piattaforme corretti.