Asseguram a qualidade dos dados externos recebidos - manequins

Quando você está projetando um data warehouse e você determina quais dados externos você precisa, basta fazer um pedido (semelhante ao pedido de roupas ou uma cesta de frutas de um site online). Depois de começar a receber dados através de um fluxo, transferência de arquivos ou outros meios, é uma navegação suave - ou é?

Qual a qualidade dos dados recebidos? Você deve aplicar o mesmo conjunto de procedimentos de garantia de qualidade (QA) a dados fornecidos externamente que você faz para dados provenientes de seus próprios sistemas internos. Só porque você compra as informações no mercado aberto não garante que os dados sejam impecáveis.

Aplica procedimentos de QA a cada lote de dados recebido, seguindo estas etapas:

1. Saiba se os dados recebidos possuem valores de verificação anexados aos arquivos.

   Alguns exemplos de valores de verificação são o número de registros em cada arquivo, o valor total de cada coluna numérica (total de dólares de vendas para todos os registros e total de unidades vendidas para todos os registros, por exemplo) e subconjuntos dos valores das colunas totais (quantidades totais de vendas e unidades por estado, por exemplo).

   Se os valores de verificação forem fornecidos, eles devem ser armazenados e usados ​​como parte dos procedimentos de carregamento de ponta a ponta. Ninguém deve atualizar oficialmente o conteúdo do armazém até que os totais do cheque concordem com os cálculos que você fez ao preparar os dados para o carregamento.

2. Se não forem fornecidos valores de verificação, solicite-os.

   Embora o pedido possa levar alguns ciclos (algumas semanas ou meses, por exemplo) para preencher, qualquer provedor de dados interessado em fornecer um alto nível de atendimento ao cliente leva este tipo de solicitação a sério e se esforça para fazer as informações de controle solicitadas acessível.

3. Durante os procedimentos de carregamento, filtre cada linha.

   Verifique se as seguintes condições são verdadeiras:

   1. Chaves (identificadores exclusivos para cada registro) estão corretas em todas as informações. Por exemplo, se cada registro no grupo de dados do SalesMasterRecord deve ter exatamente 12 registros relacionados no SalesDetailRecord (um por cada mês), verifique se todos os registros de detalhes estão presentes comparando os valores das chaves de registro.

   2. Os intervalos de valores estão corretos. As vendas de produtos por mês, por exemplo, devem estar dentro de limites razoáveis ​​para esse tipo de produto (os aviões são diferentes dos parafusos, por exemplo).

   3. Os campos de informações que faltam (uma ocorrência provável - quase inevitável - com dados fornecidos externamente) não distorcem o significado dos dados recebidos.

      Por exemplo, embora a ausência de dados suplementares (definidos de acordo com as regras de negócios para sua indústria ou organização específica) pode não ser um problema muito grave, se a metade dos registros recebidos tiver um espaço vazio onde UnitsSold, TotalSalesPrice, ou algum outro tipo crítico de informação deve ser, o valor dos dados é questionável na melhor das hipóteses.

   4. Especialmente nos primeiros estágios de aquisição de dados externos (os primeiros três ou quatro meses, por exemplo), use suas ferramentas analíticas, conforme descrito no Capítulo 10, para realizar análise de qualidade de dados antes que seus usuários usem as mesmas ferramentas para realizar negócios análise.

      Procure por curiosidades, anomalias, resultados desconcertantes, inconsistências, paradoxos aparentes e qualquer outra coisa que apenas pareça estranha. Em seguida, aprofundar as raízes dos dados para verificar a origem da estranheza.

      Lembre-se de que você provavelmente está lidando com muitos milhões de linhas de dados recebidos: Além de não poder verificar pessoalmente cada linha, você pode ter dificuldade em configurar seus critérios de verificação de controle de controle e controle para todas as condições possíveis.

      Qualquer um que já tenha feito alguma coisa com dados de origem fornecidos externamente encontrou todos os tipos de incoerências estranhas e dados faltantes nas informações recebidas. Ao colocar-se no lugar dos usuários e usar as mesmas ferramentas que eles usam, você provavelmente pode descobrir uma coisa ou duas que você pode corrigir, tornando seu data warehouse uma loja muito melhor de informações comerciais valiosas.