Lar Finanças Pessoais Computação distribuída básica para dados grandes - manequins

Computação distribuída básica para dados grandes - manequins

Índice:

Vídeo: NoSQL, CAP Theorem e BASE - Aula 20 - Bancos de Dados 2015.2 2025

Vídeo: NoSQL, CAP Theorem e BASE - Aula 20 - Bancos de Dados 2015.2 2025
Anonim

Se sua empresa está considerando um grande projeto de dados, é importante que você entenda alguns conceitos básicos de computação distribuída primeiro. Não há um único modelo de computação distribuída porque os recursos computacionais podem ser distribuídos de várias maneiras.

Por exemplo, você pode distribuir um conjunto de programas no mesmo servidor físico e usar serviços de mensagens para permitir que eles se comuniquem e passem informações. Também é possível ter muitos sistemas ou servidores diferentes, cada um com sua própria memória, que pode trabalhar em conjunto para resolver um problema.

Por que a computação distribuída é necessária para grandes dados

Nem todos os problemas exigem computação distribuída. Se uma grande restrição de tempo não existe, o processamento complexo pode ser feito por meio de um serviço especializado remotamente. Quando as empresas precisavam fazer uma análise complexa de dados, a TI transferiria dados para um serviço externo ou entidade onde muitos recursos disponíveis estavam disponíveis para processamento.

Não era que as empresas desejassem aguardar os resultados que precisavam; simplesmente não era economicamente viável comprar recursos de computação suficientes para lidar com esses requisitos emergentes. Em muitas situações, as organizações capturam apenas seleções de dados em vez de tentar capturar todos os dados por causa dos custos. Os analistas queriam todos os dados, mas tiveram que se contentar com instantâneos, na esperança de capturar os dados certos no momento certo.

As principais descobertas de hardware e software revolucionaram o setor de gerenciamento de dados. Em primeiro lugar, a inovação e a demanda aumentaram o poder e diminuíram o preço do hardware. Surgiu um novo software que compreendeu como aproveitar esse hardware automatizando processos como balanceamento de carga e otimização em um grande conjunto de nós.

O software incluiu regras internas que entenderam que determinadas cargas de trabalho exigiam um certo nível de desempenho. O software tratava todos os nós como se fossem simplesmente um grande grupo de recursos de computação, armazenamento e rede, e movia os processos para outro nó sem interrupção se um nó falhar, usando a tecnologia de virtualização.

A economia em mudança da computação e dos grandes dados

Avanço rápido e muito mudou. Ao longo dos últimos anos, o custo para comprar recursos de computação e armazenamento diminuiu drasticamente. Auxiliado pela virtualização, os servidores de commodities que poderiam ser agrupados e as lâminas que poderiam ser conectadas em rede em um rack alteravam a economia da computação. Essa mudança coincidiu com a inovação em soluções de automação de software que melhoraram drasticamente a capacidade de gerenciamento desses sistemas.

A capacidade de alavancar a computação distribuída e as técnicas de processamento paralelo transformaram dramaticamente a paisagem e reduzem drasticamente a latência. Existem casos especiais, como o High Frequency Trading (HFT), em que a baixa latência só pode ser alcançada localizando fisicamente servidores em um único local.

O problema com latência para grandes dados

Um dos problemas perenes com o gerenciamento de dados - especialmente grandes quantidades de dados - tem sido o impacto da latência. Latência é o atraso dentro de um sistema com base em atrasos na execução de uma tarefa. A latência é um problema em todos os aspectos da computação, incluindo comunicações, gerenciamento de dados, desempenho do sistema e muito mais.

Se você já usou um telefone sem fio, você experimentou a latência de primeira mão. É o atraso nas transmissões entre você e seu interlocutor. Às vezes, a latência tem pouco impacto na satisfação do cliente, como se as empresas precisassem analisar os resultados nos bastidores para planejar uma nova versão do produto. Isso provavelmente não requer resposta ou acesso instantâneo.

No entanto, quanto mais próxima a resposta é para um cliente no momento da decisão, mais a latência é importante.

A computação distribuída e as técnicas de processamento paralelo podem fazer uma diferença significativa na latência experimentada por clientes, fornecedores e parceiros. Muitos grandes aplicativos de dados dependem da baixa latência devido aos grandes requisitos de dados para velocidade e volume e variedade de dados.

Pode não ser possível construir um grande aplicativo de dados em um ambiente de alta latência se for necessário um alto desempenho. A necessidade de verificar os dados em tempo quase real também pode ser impactada pela latência. Quando você está lidando com dados em tempo real, um alto nível de latência significa a diferença entre sucesso e falha.

A grande demanda de dados atende às soluções

O crescimento da Internet como plataforma para tudo, desde o comércio até a medicina, transformou a demanda por uma nova geração de gerenciamento de dados. No final da década de 1990, empresas de motores e internet como o Google, Yahoo! e Amazon. foram capazes de expandir seus modelos de negócios, alavancando hardware de baixo custo para computação e armazenamento.

Em seguida, essas empresas precisavam de uma nova geração de tecnologias de software que lhes permitisse monetizar a enorme quantidade de dados que capturavam dos clientes. Essas empresas não podiam esperar pelos resultados do processamento analítico. Eles precisavam da capacidade de processar e analisar esses dados em tempo quase real.

Computação distribuída básica para dados grandes - manequins

Escolha dos editores

Dicas para direcionar seu filme digital - manequins

Dicas para direcionar seu filme digital - manequins

Como diretor, é seu trabalho levar o filme a vida através de da maneira como seus atores interpretam os personagens e como a equipe filme cada tiro. O diretor trabalha com os atores e a equipe para obter o melhor deles e certifique-se de que a história seja contada através do que eles fazem. Dirigindo seu ...

Dez Wedding DSLR Filmmaking Techniques - dummies

Dez Wedding DSLR Filmmaking Techniques - dummies

Usando sua DSLR para filmar um casamento geralmente reside no final oposto da peça criativa espectro de fazer seu filme de autor. Aqui estão os dez melhores aspectos que você precisa considerar para mantê-lo vivo ao capturar esse evento único na vida. Tenha o equipamento de vídeo certo Você não poderá fazer um casamento até ...

Dez dicas para filmes documentários DSLR - dummies

Dez dicas para filmes documentários DSLR - dummies

Um documentário é uma conta de filme de não ficção de um tópico. Para fazer seu documentário DSLR de qualquer comprimento e assunto em algo que as pessoas acham interessante, considere estas dez dicas. Conheça o tópico que pretende filmar Se você está fazendo um filme de duração de duas horas ou um vídeo on-line de dois minutos, você precisa ...

Escolha dos editores

Como lucrar com a mamãe Blogando sem vender - manequins

Como lucrar com a mamãe Blogando sem vender - manequins

Vender é um termo usado para comprometendo sua integridade, princípios ou moral para ganhar dinheiro ou sucesso. O problema é que, se todos tivessem os mesmos princípios e a definição de integridade, não haveria muita necessidade de diferentes partidos políticos ou religiões. As pessoas podem ser acusadas de vender se eles simplesmente fazem coisas como ...

Como usar corretamente palavras-chave para sua comunidade online - manequins

Como usar corretamente palavras-chave para sua comunidade online - manequins

Quando você tem uma boa idéia de os tipos de palavras-chave para usar em sua comunidade online, é hora de escrever o conteúdo para que pareça natural. Muitas pessoas pimenta palavras-chave liberalmente em torno de suas postagens de blog, artigos da web, sobre páginas e outros conteúdos, o que parece bobo e errado. Embora o uso de palavras-chave seja bom ...

Como colocar anúncios no seu blog - manequins

Como colocar anúncios no seu blog - manequins

Para obter anúncios no site do seu blog, os programas que você Inscreva-se para fornecer-lhe geralmente um pouco de código que você insere em seus modelos de site. Alguns programas têm instruções passo-a-passo para pacotes populares de software de blog, mas esteja ciente de que você também precisará consultar a documentação do seu blog para obter ajuda com ...

Escolha dos editores

Exibindo Números como palavras no Excel - manequins

Exibindo Números como palavras no Excel - manequins

Se você já precisou exibir um número escrito como texto , você provavelmente descobriu que o Excel não oferece essa função. Quando o Excel não entrega, muitas vezes é possível corrigir a deficiência usando o VBA. Aqui está uma função VBA, denominada SPELLDOLLARS, que você pode usar nas fórmulas da planilha. Exemplos de Excel Aqui estão ...

Determinando a audiência para seu modelo financeiro - manequins

Determinando a audiência para seu modelo financeiro - manequins

Que estará visualizando ou usando seu modelo financeiro no futuro ? Se for apenas para seu próprio uso, você ainda deve seguir um bom modelo de design, mas não há necessidade de passar muito tempo na formatação para que pareça legal. Você ainda deve adicionar suposições e documentação de origem para o seu próprio ...

Eliminando células e dados no Excel 2007 - dummies

Eliminando células e dados no Excel 2007 - dummies

No Microsoft Office Excel 2007, quando você precisa excluir dados , remova a formatação em uma seleção de célula ou remova células inteiras, linhas ou colunas, você tem muitas opções dependendo do seu objetivo. O Excel pode executar dois tipos de exclusões de células em uma planilha: limpar dados de células e excluir a célula. Limpar o conteúdo da célula Limpar apenas ...