Mineração de dados explicada

Benefícios da mineração de dados

• Tomada de decisões automatizada

  A mineração de dados permite que as organizações analisem dados de forma contínua e automatizem as decisões de rotina e cruciais sem o atraso do julgamento humano. Os bancos podem detectar transações fraudulentas instantaneamente, solicitar verificação e até mesmo guardar informações pessoais para proteger os clientes contra o roubo de identidade. Implantados em algoritmos operacionais de uma empresa, estes modelos podem coletar, analisar e agir em dados de forma independente para simplificar a tomada de decisões e melhorar os processos diários de uma organização.

• Predição e previsão precisas

  O planejamento é um processo crucial em todas as organizações. A mineração de dados facilita o planejamento e fornece aos gerentes previsões confiáveis com base em tendências passadas e condições atuais. A Macy’s implementa modelos de previsão de demanda para prever a demanda para cada categoria de vestuário em cada loja e encaminhar o estoque apropriado para satisfazer com eficiência as necessidades do mercado.

• Redução de custos

  A mineração de dados permite o uso e a alocação mais eficientes dos recursos. As organizações podem planejar e tomar decisões automatizadas com previsões precisas que resultarão em redução máxima de custos. A Delta incorporou chips RFID [Radio-Frequency Identification (identificação por radiofrequência)] nas bagagens despachadas dos passageiros e implantou modelos de mineração de dados para identificar as funções no processo e reduzir o número de malas extraviadas. Essa melhoria de processo aumenta a satisfação do passageiro e diminui o custo de busca e redirecionamento de bagagem perdida.

• Insights sobre os clientes

  As empresas implementam modelos de mineração de dados a partir de dados de clientes para descobrir as principais características e diferenças entre seus clientes. A mineração de dados pode ser usada para criar personas e personalizar cada ponto de contato para melhorar a experiência geral do cliente. Em 2017, a Disney investiu mais de um bilhão de dólares para criar e implementar pulseiras digitais, as “Magic Bands”. Estas pulseiras têm uma relação simbiótica com os clientes, trabalhando para aumentar sua experiência geral no resort e, ao mesmo tempo, coletando dados sobre suas atividades para a Disney analisar e melhorar ainda mais a experiência do cliente.

Desafios da mineração de dados

Embora seja um processo poderoso, a mineração de dados é prejudicada pelo aumento da quantidade e da complexidade do Big Data. Quando exabytes de dados são coletados pelas empresas todos os dias, os tomadores de decisão precisam encontrar maneiras de extrair, analisar e obter insights de seu abundante repositório de dados.

• Big Data

  Os desafios do big data são prolíficos e penetram em todos os campos que coletam, armazenam e analisam dados. Big data é caracterizado por quatro desafios principais: volume, variedade, veracidade e velocidade. O objetivo da mineração de dados é mediar esses desafios e desbloquear o valor dos dados.

  Volume descreve o desafio de armazenar e processar a enorme quantidade de dados coletados pelas organizações. Esta enorme quantidade de dados apresenta dois desafios importantes: primeiro, é mais difícil encontrar os dados corretos e, segundo, desacelera a velocidade de processamento das ferramentas de mineração de dados.

  Variedade abrange os muitos tipos diferentes de dados coletados e armazenados. As ferramentas de mineração de dados devem ser equipadas para processar simultaneamente uma grande variedade de formatos de dados. Deixar de focar em uma análise em dados estruturados e não estruturados inibe o valor agregado pela mineração de dados.

  A velocidade detalha a velocidade crescente na qual novos dados são criados, coletados e armazenados. Embora o volume se refira ao aumento da exigência de armazenamento e a variedade se refira aos tipos crescentes de dados, a velocidade é o desafio associado à rápida taxa crescente de geração de dados.

  Finalmente, veracidade reconhece que nem todos os dados são igualmente precisos. Os dados podem ser confusos, incompletos, coletados impropriamente e até mesmo tendenciosos. Como com qualquer coisa, quanto mais rápido os dados são coleados, mais erros se manifestarão nos dados. O desafio da veracidade é equilibrar a quantidade dos dados com sua qualidade.

• Modelos com sobreajuste

  O sobreajuste ocorre quando um modelo explica os erros naturais em uma amostra em vez das tendências subjacentes da população. Os modelos de sobreajuste muitas vezes são excessivamente complexos e utilizam um excesso de variáveis independentes para gerar uma predição. Portanto, o risco do sobreajuste é aumentado pelo aumento no volume e na variedade de dados. Poucas variáveis tornam o modelo irrelevante, enquanto muitas variáveis restringem o modelo aos dados da amostra conhecidos. O desafio é moderar o número de variáveis usados nos modelos de mineração de dados e equilibrar sua capacidade preditiva com precisão.

• Custo de escala

  À medida que a velocidade dos dados continua aumentando o volume e a variedade dos dados, as empresas precisam dimensionar esses modelos e aplicá-los em toda a organização. Desbloquear todos os benefícios da mineração de dados com esses modelos exige investimentos significativos em infraestrutura de computação e poder de processamento. Para alcançar escala, as organizações devem comprar e manter computadores, servidores e softwares poderosos projetados para lidar com a grande quantidade e variedade de dados da empresa.

• Privacidade e segurança

  O aumento do requisito de armazenamento de dados forçou muitas empresas a se voltarem para a computação e armazenamento em nuvem. Embora a nuvem tenha potencializado muitos avanços modernos na mineração de dados, a natureza do serviço cria ameaças significativas à privacidade e segurança. As organizações devem proteger seus dados contra figuras maliciosas para manter a confiança de seus parceiros e clientes.

  Com a privacidade de dados surge a necessidade das organizações de desenvolver regras e limites internos sobre o uso e a implementação de dados de um cliente. A mineração de dados é uma ferramenta poderosa que fornece às empresas insights atraentes para seus consumidores. No entanto, em que ponto esses insights violam a privacidade de um indivíduo? As organizações devem ponderar este relacionamento com seus clientes, desenvolver políticas para beneficiar os clientes e comunicar estas políticas aos consumidores para manter um relacionamento confiável.

Tipos de mineração de dados

A mineração de dados tem dois processos principais: aprendizado supervisionado e não supervisionado.

• Aprendizado supervisionado

  A meta do aprendizado supervisionado é a predição ou classificação. A maneira mais fácil de conceituar este processo é procurar uma variável de saída única. Um processo é considerado aprendizado supervisionado se o objetivo do modelo é predizer o valor de uma observação. Um exemplo são os filtros de spam, que usam o aprendizado supervisionado para classificar os e-mails recebidos como conteúdo indesejado e remover automaticamente essas mensagens da sua caixa de entrada.

  Modelos analíticos comuns usados em abordagens de mineração de dados supervisionadas são:

  • Regressões lineares

    As regressões lineares estimam o valor de uma variável contínua usando uma ou mais entradas independentes. Corretores de imóveis usam regressões lineares para prever o valor de uma casa com base na metragem quadrada, na proporção entre o número de quartos e banheiros, ano construído e código postal.

  • Regressões logísticas

    As regressões logísticas estimam a probabilidade de uma variável categórica usando uma ou mais entradas independentes. Os bancos usam regressões logísticas para prever a probabilidade de um solicitante de empréstimo ficar inadimplente com base na pontuação de crédito, renda familiar, idade e em outros fatores pessoais.

  • Série temporal

    Modelos de série temporal são ferramentas de previsão que usam o tempo como a variável independente principal. Varejistas, como a Macy’s, implantam modelos de série temporal para prever a demanda de produtos em função do tempo e usam a previsão para preparar e armazenar com precisão as lojas com o nível necessário de estoque.

  • Árvores de classificação ou regressão

    Árvores de classificação são uma técnica de modelagem preditiva que pode ser usada para prever o valor das variáveis de segmentação categórica e contínua. Com base nos dados, o modelo criará conjuntos de regras binárias para dividir e agrupar a proporção mais alta de variáveis de destino semelhantes juntas. Seguindo essas regras, o grupo no qual uma nova observação se enquadra se tornará seu valor previsto.

  • Redes neurais

    Uma rede neural é um modelo analítico inspirado na estrutura do cérebro, seus neurônios e suas conexões. Esses modelos foram originalmente criados em 1940, mas só recentemente ganharam popularidade entre estatísticos e cientistas de dados. As redes neurais usam entradas e, com base em sua magnitude, “disparam” ou “não disparam” seu nó com base em seu requisito de limite. Este sinal, ou a falta dele, é então combinado com os outros sinais “disparados” nas camadas ocultas da rede, onde o processo se repete até que uma saída seja criada. Como um dos benefícios das redes neurais é uma saída quase instantânea, os carros autônomos estão implantando esses modelos para processar com precisão e eficiência os dados para tomar decisões críticas de forma autônoma.

  • K-vizinho mais próximo

    O método K-vizinho mais próximo é usado para categorizar uma nova observação com base em observações passadas. Diferente dos métodos anteriores, o K-vizinho mais próximo é impulsionado pelos dados e não impulsionado por modelos. Este método não faz suposições subjacentes sobre os dados, nem implanta processos complexos para interpretar suas entradas. A ideia básica do modelo K-vizinho mais próximo é que ele classifica novas observações identificando seus vizinhos K mais próximos, atribuindo o valor da maioria. Muitos sistemas de recomendação incluem este método para identificar e classificar conteúdo semelhante que mais tarde será puxado pelo algoritmo maior.

• Aprendizado não supervisionado

  As tarefas não supervisionadas se concentram em entender e descrever os dados para revelar padrões subjacentes dentro dele. Os sistemas de recomendação empregam o aprendizado não supervisionado para rastrear padrões de usuários e fornecer recomendações personalizadas para melhorar a experiência do cliente.

  Modelos analíticos comuns usados em abordagens de mineração de dados não supervisionadas são:

  • Clustering

    Modelos de clustering agrupam dados semelhantes. São melhor empregados com conjuntos de dados complexos que descrevem uma entidade única. Um exemplo é a modelagem por semelhança, para agrupar similaridades entre segmentos, identificar clusters e mirar novos grupos que se parecem com um grupo existente.

  • Análise de associação

    A análise de associação também é conhecida como análise da cesta de compras e é usada para identificar itens que com frequência ocorrem juntos. Os supermercados normalmente usam esta ferramenta para identificar produtos correlacionados e espalhá-los na loja para incentivar que os clientes passem por mais mercadorias e aumentem suas compras.

  • Análise de componente principal

    A análise de componente principal é usada para ilustrar correlações ocultas entre variáveis de entrada e criar novas variáveis, chamadas de componentes principais, o que captura as mesmas informações contidas nos dados originais, mas com menos variáveis. Ao reduzir o número de variáveis usado para transmitir o mesmo nível de informações, os analistas podem aumentar a utilidade e a precisão dos modelos de mineração de dados supervisionados.

• Abordagens supervisionadas e não supervisionadas na prática

  Embora seja possível usar cada abordagem de forma independente, é bastante comum usar ambas durante uma análise. Cada abordagem tem vantagens únicas e combinam-se para aumentar a robustez, estabilidade e utilidade geral dos modelos de mineração de dados. Modelos supervisionados podem se beneficiar de variáveis de aninhamento derivadas de métodos não supervisionados. Por exemplo, uma variável de cluster dentro de um modelo de regressão permite que os analistas eliminem variáveis redundantes do modelo e melhorem sua precisão. Como as abordagens não supervisionadas revelam os relacionamentos subjacentes nos dados, os analistas devem usar os insights do aprendizado não supervisionado como ponto de partida para a análise supervisionada.

Tendências de mineração de dados

• Padronização de linguagem

  De forma semelhante à forma que a SQL evoluiu para se tornar a linguagem proeminente dos bancos de dados, os usuários estão começando a exigir uma padronização na mineração de dados. Esse movimento permite que os usuários interajam convenientemente com diversas plataformas de mineração enquanto aprendem apenas uma linguagem padrão. Embora os desenvolvedores hesitem em fazer essa mudança, à medida que mais usuários continuam a apoiá-la, podemos esperar que uma linguagem padrão seja desenvolvida nos próximos anos.

• Mineração científica

  Com seu sucesso comprovado no mundo dos negócios, a mineração de dados está sendo implementada em pesquisas científicas e acadêmicas. Psicólogos agora usam a análise de associação para monitorar e identificar padrões mais amplos no comportamento humano para apoiar sua pesquisa. De forma semelhante, economistas usam algoritmos de previsão para prever alterações de mercado futuro com base nas variáveis de hoje.

• Objetos de dados complexos

  À medida que a mineração de dados se expande para influenciar outros departamentos e campos, novos métodos estão sendo desenvolvidos para analisar dados cada vez mais variados e complexos. A Google experimentou uma ferramenta de pesquisa visual, em que os usuários podem realizar uma pesquisa usando uma imagem como entrada no lugar do texto. As ferramentas de mineração de dados não podem mais abranger apenas texto e números, elas devem ter a capacidade de processar e analisar diversos tipos de dados complexos.

• Aumento da velocidade de computação

  Conforme o tamanho, complexidade e variedade dos dados aumentam, as ferramentas de mineração de dados exigem computadores mais rápidos e métodos mais eficientes de análise de dados. Cada nova observação adiciona um ciclo de computação adicional a uma análise. Conforme a quantidade dos dados aumenta exponencialmente, também aumenta o número de ciclos necessários para processar os dados. Técnicas estatísticas, como clustering, foram criadas para lidar eficientemente com algumas milhares de observações com uma dúzia de variáveis. Entretanto, com as organizações coletando milhões de novas observações com centenas de variáveis, os cálculos podem se tornar muito complexos para muitos computadores. À medida que o tamanho dos dados continua a crescer, computadores mais rápidos e métodos mais eficientes são necessários para igualarem-se ao poder de computação necessário para a análise.

• Mineração da Web

  Com a expansão da internet, descobrir padrões e tendências de uso é um grande valor para as organizações. A mineração da Web usa as mesmas técnicas da mineração de dados e as aplica diretamente na internet. Os três principais tipos de mineração da Web são mineração de conteúdo, mineração de estrutura e mineração de uso. Varejistas on-line, como a Amazon, usam mineração da Web para compreender como os clientes navegam pela página na Web. Esses insights permitem que a Amazon reestruture sua plataforma para melhorar a experiência do cliente e aumentar as compras.

  A proliferação do conteúdo da Web foi o catalisador para a World Wide Web Consortium (W3C) introduzir normas para a Web semântica. Isso proporciona um método padronizado para usar formatos de dados comuns e trocar protocolos na Web. Isso torna os dados mais fáceis de serem compartilhados, reutilizados e aplicados nas regiões e sistemas. Esta padronização facilita a mineração de grandes quantidades de dados para análise.

Ferramentas de mineração de dados

As soluções de mineração de dados se proliferaram, então é importante compreender bem seus objetivos específicos e correlacioná-los com as ferramentas e plataformas certas.