Seus dados parecem corretos? - dummies

A maioria dos conjuntos de dados vem com algum tipo de metadados, , que é essencialmente uma descrição dos dados no Arquivo. Os metadados geralmente incluem descrições dos formatos, alguma indicação de quais valores estão em cada campo de dados e o que esses valores significam.

Quando você é confrontado com um novo conjunto de dados, nunca coloque os metadados no valor nominal. A própria natureza dos grandes dados exige que os sistemas que o gerem sejam mantidos atualizados tanto quanto possível. Por esse motivo, atualizar os metadados para esses sistemas quando as mudanças são implementadas nem sempre é uma prioridade máxima. Você precisa confirmar que os dados realmente são como os pedidos de metadados.

Verificar suas fontes

Por mais óbvio que possa parecer, é importante que você tenha fé em que seus dados estão vindo. Isso é particularmente importante quando você está comprando dados. Milhares de fornecedores lá fora, oferecem todos os tipos de dados imagináveis. E eles não são todos de igual credibilidade.

Antes de comprar dados, tente entender exatamente onde e como o fornecedor o está coletando. Misteriedade e imprecisão são bandeiras vermelhas.

Não leve os fornecedores na sua palavra. Não confie exclusivamente em postagens de satisfação do cliente no site ou referências de clientes fornecidas pelo fornecedor. Se possível, tente rastrear alguém que esteja usando ou tenha usado os dados.

Se seus dados são provenientes de sistemas internos, ainda é importante avaliar as fontes. Diferentes sistemas têm propósitos diferentes e, portanto, se concentram em dados diferentes. Eles também podem coletar dados em momentos diferentes.

Por exemplo, não é incomum para algumas cadeias de hotéis reservar reservas em um sistema separado do que eles usam na recepção quando o hóspede verifica. É possível que o hóspede possa receber uma oferta com desconto entre reserva e check-in. Isso significa que a tarifa do quarto no sistema de reserva pode não corresponder à taxa no sistema de recepção. Além disso, a reserva pode ser cancelada e nunca chegar à recepção!

Agora, suponha que você esteja realizando uma análise das receitas do hotel por cidade. É bastante importante que você saiba que seus dados de taxa de quarto estão sendo obtidos do sistema de recepção, em vez do sistema de reserva. Mas e se você estiver tentando analisar quantas reservas foram geradas pelo comercial do Super Bowl da sua empresa? Neste caso, você deseja ver os dados do sistema de reserva.

O exemplo do hotel ilustra que mesmo os dados intrinsecamente limpos podem ser problemáticos. Mesmo que os dados sejam precisos e exatamente o que ele pretende ser, o tempo pode ser um problema.Os dados mudam ao longo do tempo.

Verificando formatos

Como mencionado anteriormente neste capítulo, uma das coisas que seus metadados fornecerão para você é alguma indicação de como os dados são formatados. Por formatado, queremos dizer como cada elemento de dados particular se parece. O "Código do Produto" é um caractere ou numeral? A data de início é uma data ou é realmente um carimbo de data e hora?

Os tipos de dados são importantes na análise estatística porque determinam quais estatísticas e procedimentos estatísticos podem ser aplicados aos elementos de dados. Se você tentar obter o valor médio de um campo de caracteres como "Primeiro Nome", você receberá uma mensagem de erro sempre que for.

Normalmente, esse tipo de metadado é bastante preciso. Geralmente é armazenado pelo sistema que contém os dados e pode ser gerado automaticamente. Verificando os formatos geralmente é bastante direto. Essa verificação é essencialmente um subproduto da validação dos intervalos de dados discutidos na seção a seguir. Mas há casos em que pode ser um pouco mais difícil.

Nós vimos um desses cenários mais vezes do que nos lembramos. Acontece às vezes que quando um sistema foi projetado pela primeira vez, a equipe de desenvolvimento tenta colocar alguma flexibilidade nas estruturas de dados para acomodar futuras melhorias. Às vezes, eles apenas adicionam um monte de colunas de dados alfa-numéricas vazias (e largas) no final de cada registro. Essas colunas auxiliares não são inicialmente usadas para nada.

Os analistas sempre erguem o lado de pedir mais dados em vez de menos - com freqüência, todos dados em vez de alguns. Este fato, combinado com a necessidade de obter os dados rapidamente, às vezes resulta em um despejo de dados . Este despejo geralmente inclui as colunas auxiliares. Nesses casos, os metadados indicam algo como "Campos 1-11" são formatados como "200 caracteres alfanuméricos. "

Essa informação é praticamente inútil. Para dar sentido a um campo de dados como esse, você tem que deixar as mãos sujas. Não há muito o que você pode fazer, exceto página através de algumas dúzias de registros e tentar fazer um palpite informado sobre o que realmente é no campo. Na maioria dos casos, esses campos tendem a ficar vazios. Mas não sempre. A boa notícia é que, se o campo estiver realmente sendo usado, você poderá encontrar um programador em algum lugar que saiba o que está sendo usado.

Typecasting seus dados

Uma das etapas mais críticas na realização de uma análise estatística é garantir que seus dados sejam o que ele pretende ser. Os procedimentos estatísticos invariavelmente serão bloqueados se você não fornecer uma informação válida sobre os formatos de dados. Mas esses procedimentos são em grande parte cegos para problemas com a validade dos dados.

A compreensão de como um campo de dados está formatado não é suficiente. Antes de transformar um conjunto de dados em um procedimento estatístico, você precisa entender o que os dados realmente estão em cada um dos campos que você está usando.

A maioria dos dados cai em uma das quatro categorias: nominal, ordinal, intervalo e proporção.O tipo de dados determina o tipo de estatísticas e procedimentos estatísticos que podem ser aplicados a determinados campos de dados. Você não pode ter uma média de um campo como "Sobrenome", por exemplo.

Confundir tipos de dados com formatos de dados é fácil (e muito comum). Saber se um campo de dados é um caractere, inteiro ou contínuo não lhe diz o tipo de dados.

Os campos de caracteres são usados ​​às vezes como espaços reservados para dados que podem ser capturados em futuras versões de um sistema. Não há nada para impedir que esse campo seja usado para capturar dados monetários ou outros dados numéricos.

O erro de tipo de dados mais comum envolve assumir que um campo numérico, particularmente um campo de valor inteiro, contém realmente dados numéricos ordinais . É extremamente comum que as empresas usem códigos numéricos ( dados nominais ) para representar produtos, regiões, lojas e várias outras entidades.

Os códigos de voo da companhia aérea são um exemplo. As regiões do recenseamento são outra. Mesmo os números do cartão de crédito e da Segurança Social normalmente são armazenados como números inteiros. Mas todas essas entidades são meramente identificadores. São nominal variáveis. O número de cartão de crédito no portfólio de um banco é uma estatística sem sentido.