Vídeo: Nós Digitais: Big Data e o gerenciamento de dados 2024
Os dados grandes são realmente novos ou é uma evolução na jornada de gerenciamento de dados? Na verdade, são os dois. Tal como acontece com outras ondas no gerenciamento de dados, grandes dados são construídos sobre a evolução das práticas de gerenciamento de dados nas últimas cinco décadas. O que há de novo é que, pela primeira vez, o custo dos ciclos de computação e do armazenamento atingiu um ponto de inflexão. Por que isso é importante?
Apenas alguns anos atrás, as organizações normalmente se comprometeriam ao armazenar instantâneos ou subconjuntos de informações importantes porque o custo das limitações de armazenamento e processamento proibia-os de armazenar tudo o que queria analisar.
Em muitas situações, esse compromisso funcionou bem. Por exemplo, uma empresa de fabricação pode ter coletado dados de máquinas a cada dois minutos para determinar a saúde dos sistemas. No entanto, pode haver situações em que o instantâneo não contenha informações sobre um novo tipo de defeito e isso pode passar despercebido por meses.
Com grandes dados, agora é possível virtualizar dados para que ele possa ser armazenado de forma eficiente e, também, utilizando o armazenamento baseado em nuvem, de forma mais econômica. Além disso, as melhorias na velocidade e confiabilidade da rede eliminaram outras limitações físicas de poder gerir enormes quantidades de dados a um ritmo aceitável.
Adicione a isso o impacto das mudanças no preço e sofisticação da memória do computador. Com todas essas transições de tecnologia, agora é possível imaginar maneiras pelas quais as empresas podem alavancar dados que só seriam inconcebíveis há cinco anos.
Mas nenhuma transição tecnológica ocorre isoladamente; acontece quando existe uma necessidade importante que pode ser atendida pela disponibilidade e amadurecimento da tecnologia. Muitas das tecnologias no coração de grandes dados, como virtualização, processamento paralelo, sistemas de arquivos distribuídos e bancos de dados em memória, existem há décadas.
As análises avançadas também existem há décadas, embora nem sempre tenham sido práticas. Outras tecnologias como Hadoop e MapReduce estiveram em cena por apenas alguns anos. Esta combinação de avanços tecnológicos agora pode resolver problemas comerciais importantes. As empresas querem ser capazes de obter informações e resultados acionáveis de vários tipos diferentes de dados à velocidade certa.
Se as empresas podem analisar petabytes de dados (equivalente a 20 milhões de arquivos de quatro caixas preenchidos com arquivos de texto ou 13. 3 anos de conteúdo HDTV) com desempenho aceitável para discernir padrões e anomalias, as empresas podem começar a dar sentido aos dados de novas maneiras.A mudança para grandes dados não é apenas sobre empresas.
As atividades de ciência, pesquisa e governo também ajudaram a avançar. Basta pensar em analisar o genoma humano ou lidar com todos os dados astronômicos coletados em observatórios para avançar nossa compreensão do mundo que nos rodeia. Considere a quantidade de dados que o governo coleciona em suas atividades antiterroristas também, e você tem a ideia de que grandes dados não são apenas negócios.
Existem diferentes abordagens para manipular dados. Os dados em movimento seriam utilizados se uma empresa puder analisar a qualidade de seus produtos durante o processo de fabricação para evitar erros caros. Os dados em repouso seriam usados por um analista de negócios para entender melhor os padrões atuais de compra dos clientes com base em todos os aspectos do relacionamento com o cliente, incluindo vendas, dados de mídias sociais e interações com o serviço ao cliente.
Tenha em mente que as empresas ainda estão em estágio inicial de alavancar enormes volumes de dados para obter uma visão de 360 graus do negócio e antecipar mudanças e mudanças nas expectativas dos clientes. As tecnologias necessárias para obter as respostas às necessidades do negócio ainda estão isoladas umas das outras.
Dados importantes não são simplesmente sobre uma ferramenta ou uma tecnologia. É sobre como todas essas tecnologias se juntam para dar as idéias corretas, no momento certo, com base nos dados certos - seja gerado por pessoas, máquinas ou a web.
