Noções básicas de Clusters de Dados na Análise Preditiva - dummies

A conjunto de dados < (ou coleta de dados) é um conjunto de itens na análise preditiva. Por exemplo, um conjunto de documentos é um conjunto de dados onde os itens de dados são documentos. Um conjunto de informações de usuários de redes sociais (nome, idade, lista de amigos, fotos e assim por diante) é um conjunto de dados onde os itens de dados são perfis de usuários de redes sociais. O agrupamento de dados

é a tarefa de dividir um conjunto de dados em subconjuntos de itens similares. Os itens também podem ser referidos como instâncias, observações, entidades ou objetos de dados. Na maioria dos casos, um conjunto de dados é representado no formato da tabela - uma matriz de dados . Uma matriz de dados é uma tabela de números, documentos ou expressões, representada em linhas e colunas da seguinte maneira:

Cada linha corresponde a um determinado item no conjunto de dados.

• As linhas às vezes são referidas como

  itens, objetos, instâncias ou observações. Cada coluna representa uma característica particular de um item.

• As colunas são referidas como

  características ou atributos. A aplicação de agrupamento de dados em um conjunto de dados gera grupos de itens de dados semelhantes. Esses grupos são chamados

clusters - coleções de itens de dados semelhantes. têm uma relação forte e mensurável entre eles - os legumes frescos, por exemplo, são mais parecidos uns dos outros do que com os alimentos congelados - e as técnicas de agrupamento usam essa relação com o grupo os itens.

A força de uma relação entre dois ou mais itens pode ser quantificada como uma medida de similaridade :

Uma função matemática calcula a correlação entre dois itens de dados. Os resultados dessa computação, denominados valores de similaridade, , basicamente, comparam um item de dados específico com todos os outros itens no conjunto de dados. Esses outros itens serão mais semelhantes ou menos semelhantes em comparação com esse item específico.

As similaridades calculadas desempenham um papel importante na atribuição de itens a grupos (

clusters

). Cada grupo tem um item que melhor o representa; Este item é chamado de representante de cluster . Considere um conjunto de dados que consiste em vários tipos de frutas em uma cesta. A cesta tem frutos de diferentes tipos, como maçãs, bananas, limões e peras. Neste caso, os frutos são os itens de dados. O processo de agrupamento de dados extrai grupos de frutos similares deste conjunto de dados (cesta de frutas diferentes). O primeiro passo em um processo de agrupamento de dados é traduzir este conjunto de dados para uma matriz de dados: uma maneira de modelar este conjunto de dados é ter as linhas representando os itens no conjunto de dados (frutas); e as colunas representam características ou características que descrevem os itens.

Por exemplo, uma característica de fruta pode ser o tipo de fruta (como uma banana ou maçã), peso, cor ou preço. Neste conjunto de dados de exemplo, os itens possuem três características: tipo de fruta, cor e peso.

Na maioria dos casos, aplicar uma técnica de agrupamento de dados ao conjunto de dados de frutas, conforme descrito acima, permite

Recuperar grupos (clusters) de itens similares.

Você pode dizer que seu fruto é de N número de grupos. Depois disso, se você escolher uma fruta aleatória, você poderá fazer uma declaração sobre esse item como sendo parte de um dos N grupos.

• Recuperar representantes de cluster de cada grupo. Neste exemplo, um representante de cluster seria escolher um tipo de fruta da cesta e colocá-lo de lado. As características desta fruta são tais que esse fruto melhor representa o cluster ao qual pertence.

• Quando você terminou de agrupar, seu conjunto de dados é organizado e dividido em agrupamentos naturais. O agrupamento de dados revela estrutura nos dados extraindo agrupamentos naturais de um conjunto de dados. Portanto, descobrir grupos é um passo essencial para a formulação de idéias e hipóteses sobre a estrutura de seus dados e a obtenção de informações para melhor entendê-lo.

O agrupamento de dados também pode ser uma maneira de modelar dados: representa um conjunto maior de dados por clusters ou representantes de cluster.

Além disso, sua análise pode buscar simplesmente particionar os dados em grupos de itens similares - como quando

segmentação de mercado

segmenta dados de mercado-alvo em grupos como Consumidores que compartilham os mesmos interesses (como a cozinha mediterrânea) Consumidores que têm necessidades comuns (por exemplo, aqueles com alergias alimentares específicas)

• Identificar agrupamentos de clientes similares pode ajudá-lo a desenvolver uma estratégia de marketing que atenda às necessidades de clusters específicos.

• Além disso, o agrupamento de dados também pode ajudá-lo a identificar, aprender ou prever a natureza dos novos itens de dados - especialmente como novos dados podem ser vinculados com a criação de previsões. Por exemplo, em

reconhecimento de padrões, a análise de padrões nos dados (como padrões de compra em regiões ou grupos etários específicos) pode ajudá-lo a desenvolver análises preditivas - neste caso, prevendo a natureza dos itens de dados futuros que podem encaixar bem com os padrões estabelecidos. O exemplo do cesto de frutas usa o agrupamento de dados para distinguir entre diferentes itens de dados. Suponha que seu negócio assuma cestas de frutas personalizadas e uma nova fruta desconhecida é introduzida no mercado. Você quer aprender ou prever em que grupo o novo item pertencerá se você o adicionar à cesta de frutas. Como você já aplicou o agrupamento de dados no conjunto de dados de frutas, você possui quatro clusters - o que facilita a previsão de qual cluster (tipo específico de fruta) é apropriado para o novo item. Tudo o que você precisa fazer é comparar a fruta desconhecida com os outros representantes de quatro clusters e identificar qual cluster é a melhor combinação.

Embora este processo possa parecer óbvio para uma pessoa que trabalha com um pequeno conjunto de dados, não é tão óbvio em uma escala maior - quando você tem que agrupar milhões de itens sem examinar cada um.A complexidade torna-se exponencial quando o conjunto de dados é grande, diverso e relativamente incoerente - e é por isso que existem algoritmos de agrupamento: os computadores fazem esse tipo de trabalho melhor.