Lar Finanças Pessoais Camada 4 da Big Data Stack: Data Warehouses Analíticos - manequins

Camada 4 da Big Data Stack: Data Warehouses Analíticos - manequins

Vídeo: The Future of Farming 2025

Vídeo: The Future of Farming 2025
Anonim

O data warehouse, a camada 4 da grande pilha de dados e o companheiro do data mart, têm sido as principais técnicas que as organizações usam para otimizar dados para ajudar os tomadores de decisão. Normalmente, data warehouses e marts contêm dados normalizados coletados de uma variedade de fontes e montados para facilitar a análise do negócio.

Os data warehouses e marts simplificam a criação de relatórios e a visualização de itens de dados diferentes. Eles geralmente são criados a partir de bancos de dados relacionais, bases de dados multidimensionais, arquivos planos e bancos de dados de objetos - essencialmente qualquer arquitetura de armazenamento. Em um ambiente tradicional, onde o desempenho pode não ser a mais alta prioridade, a escolha da tecnologia subjacente é orientada pelos requisitos para análise, relatórios e visualização dos dados da empresa.

Como a organização dos dados e sua prontidão para análise são fundamentais, a maioria das implementações do data warehouse são mantidas atualizadas através do processamento em lote. O problema é que os data warehouses e data marts carregados em lote podem ser insuficientes para muitos grandes aplicativos de dados. O estresse imposto por fluxos de dados de alta velocidade provavelmente exigirá uma abordagem mais real em tempo real para grandes armazéns de dados.

Isso não significa que você não estará criando e alimentando um data ware analítico ou um data mart com processos em lote. Em vez disso, você pode acabar tendo vários data warehouses ou data marts, e o desempenho e a escala refletirão os requisitos de tempo dos analistas e tomadores de decisão.

Como muitos data warehouses e data marts são compostos por dados coletados de várias fontes dentro de uma empresa, os custos associados à limpeza e normalização dos dados também devem ser abordados. Com grandes dados, você encontra algumas diferenças principais:

  • Os fluxos de dados tradicionais (de transações, aplicativos, etc.) podem produzir muitos dados diferentes.

  • Existem também dezenas de novas fontes de dados, cada uma delas que necessita de algum tipo de manipulação antes que possa ser oportuna e útil para o negócio.

  • As fontes de conteúdo também precisam ser limpas, e estas podem exigir diferentes técnicas do que você pode usar com dados estruturados.

Historicamente, o conteúdo dos data warehouses e data marts foi organizado e entregue aos líderes empresariais responsáveis ​​pela estratégia e planejamento. Com grandes dados, um novo conjunto de equipes está alavancando dados para a tomada de decisões.

Muitas implementações de dados grandes fornecem recursos em tempo real, portanto, as empresas devem ser capazes de fornecer conteúdo para permitir que pessoas com funções operacionais abordem questões como suporte ao cliente, oportunidades de vendas e interrupções de serviço em tempo quase real.Desta forma, grandes dados ajudam a mover a ação do back office para o front office.

As ferramentas e técnicas de análise existentes serão muito úteis para dar sentido aos grandes dados. No entanto, há um porém. Os algoritmos que fazem parte dessas ferramentas devem ser capazes de trabalhar com grandes quantidades de dados potencialmente em tempo real e dispares. A infraestrutura precisará estar no lugar para suportar isso.

E, fornecedores que fornecem ferramentas de análise também precisam garantir que seus algoritmos funcionem em implementações distribuídas. Devido a essas complexidades, espera uma nova classe de ferramentas para ajudar a entender os grandes dados.

Existem três classes de ferramentas nesta camada da arquitetura de referência. Eles podem ser usados ​​de forma independente ou coletiva por decisores para ajudar a orientar o negócio. As três classes de ferramentas são as seguintes:

  • Relatórios e painéis: Essas ferramentas fornecem um & ldquo; user-friendly & rdquo; Representação das informações de várias fontes. Embora seja um pilar no mundo dos dados tradicionais, esta área ainda está evoluindo para grandes dados. Algumas das ferramentas que estão sendo usadas são tradicionais que agora podem acessar os novos tipos de bancos de dados coletivamente chamados NoSQL (Não apenas SQL).

  • Visualização: Estas ferramentas são o próximo passo na evolução do relatório. O resultado tende a ser altamente interativo e de natureza dinâmica. Outra distinção importante entre relatórios e resultados visualizados é a animação. Os usuários empresariais podem assistir as mudanças nos dados utilizando uma variedade de diferentes técnicas de visualização, incluindo mapas mentais, mapas de calor, infografia e diagramas de conexão. Os relatórios e a visualização ocorrem no final da atividade comercial.

  • Análises e análises avançadas: Estas ferramentas alcançam o data warehouse e processam os dados para consumo humano. As análises avançadas devem explicar tendências ou eventos que sejam transformadores, únicos ou revolucionários para práticas comerciais existentes. A análise preditiva e a análise do sentimento são bons exemplos dessa ciência.

Camada 4 da Big Data Stack: Data Warehouses Analíticos - manequins

Escolha dos editores

Noções básicas do arquivo de dados Flashback da Oracle 12c - dummies

Noções básicas do arquivo de dados Flashback da Oracle 12c - dummies

O Flashback Data Archive do oracle 12c é um mecanismo de banco de dados que permite que você para armazenar periodicamente ou indefinidamente todas as versões de linha em uma tabela ao longo da sua vida útil. Você pode então escolher uma hora para ver os dados como existia em um ponto específico. Esteja ciente de que o Flashback Data Archive é um recurso licenciado. ...

Noções básicas de clusters de aplicativos reais do Oracle 12c - manequins

Noções básicas de clusters de aplicativos reais do Oracle 12c - manequins

Se você visitou os sites da Oracle nos últimos 12 anos , você viu o byline de marketing: "Inquebrável. "Essa linha de tag refere-se ao recurso Real Application Clusters (RAC). Claro, muitos elementos estão envolvidos, mas o RAC tem o destaque. O RAC é a solução de clustering de banco de dados Oracle. Em certo sentido, funciona na teoria de que ...

Noções básicas de Redo Log Files no Oracle 12c - dummies

Noções básicas de Redo Log Files no Oracle 12c - dummies

Redo os arquivos de log armazenam as informações do buffer de log no banco de dados Oracle 12c. Eles são escritos pelo Log Writer (LGWR). Mais uma vez, você não pode ler esses arquivos binários sem a ajuda do software de banco de dados. Normalmente, os arquivos de reto de log são nomeados com a extensão. LOG ou. RDO. Pode ser qualquer coisa que você queira, ...

Escolha dos editores

São orgasmos ok durante a gravidez? - Dummies

São orgasmos ok durante a gravidez? - Dummies

As mulheres grávidas não só têm permissão para fazer sexo, mas muitas vezes o desejam. Mas é bom aproveitar a relação sexual com o ponto do orgasmo? Afinal, os orgasmos são nada mais do que contrações - e as pessoas sugeriram que isso poderia desencadear mão-de-obra. Isso é apenas um mito. De fato, grávida ...

Alimentando a Multidão em uma Reunião Familiar - manequins

Alimentando a Multidão em uma Reunião Familiar - manequins

Cozinhando uma refeição para um grande grupo (reunião familiar ou de outra forma ) requer planejamento e resistência. Aqui está um guia útil para quantidades de alimentos e segurança alimentar, e conselhos sobre a organização de uma festa de potluck. Planejando para potlucks A forma mais comum de comestibles de grupo é uma festa de potluck - qual é a maneira mais barata e fácil de ...

Anatomia do Penis humano - dummies

Anatomia do Penis humano - dummies

Sabendo como as funções de um pénis podem fornecer uma visão útil do sexo e do corpo humano - se você quer entender o pénis e a anatomia masculina melhor ou aprender sobre isso pela primeira vez. Basicamente, um pênis é composto de três estruturas, que são feitas de um material esponjoso que pode preencher com sangue: ...

Escolha dos editores

Como lidar com outliers causados ​​por Forças externas - manequins

Como lidar com outliers causados ​​por Forças externas - manequins

Certifique-se de verificar atentamente os outliers antes eles influenciam sua análise preditiva. Os outliers podem distorcer a análise de dados e dados. Por exemplo, qualquer análise estatística feita com dados que deixa outliers no lugar acaba por desviar os meios e variâncias. Os outliers não controlados ou mal interpretados podem levar a conclusões falsas. Diga os seus dados que ...

Como criar um modelo de análise preditiva com regressão R - manequins

Como criar um modelo de análise preditiva com regressão R - manequins

Você deseja criar um preditivo modelo de análise que você pode avaliar usando resultados conhecidos. Para fazer isso, vamos dividir nosso conjunto de dados em dois conjuntos: um para treinar o modelo e outro para testar o modelo. Uma divisão 70/30 entre treinamento e testes de conjuntos de dados será suficiente. As próximas duas linhas de código ...

Como definir objetivos de negócios para um modelo de análise preditiva - dummies

Como definir objetivos de negócios para um modelo de análise preditiva - dummies

Um modelo de análise preditiva visa resolvendo um problema comercial ou realizando um resultado comercial desejado. Esses objetivos comerciais se tornam os objetivos do modelo. Conhecer aqueles garante o valor comercial do modelo que você constrói - o que não deve ser confundido com a precisão do modelo. Hipotéticamente, você pode construir um modelo preciso para ...