Vídeo: Thorium. 2025
No núcleo de qualquer grande ambiente de dados e a camada 2 da grande pilha de dados, os mecanismos de banco de dados que contêm o coleções de elementos de dados relevantes para sua empresa. Esses mecanismos precisam ser rápidos, escaláveis e sólidos. Eles não são todos iguais, e certos ambientes de dados grandes serão melhores com um motor do que outro, ou provavelmente com uma mistura de mecanismos de banco de dados.
Por exemplo, embora seja possível usar sistemas de gerenciamento de banco de dados relacionais (RDBMSs) para todas as suas grandes implementações de dados, não é prático fazê-lo por desempenho, escala ou mesmo custo. Várias tecnologias de banco de dados diferentes estão disponíveis, e você deve ter o cuidado de escolher com sabedoria.
Não existe nenhuma escolha certa sobre linguagens de banco de dados. Embora o SQL seja o idioma de consulta de banco de dados mais utilizado atualmente, outros idiomas podem fornecer uma maneira mais eficaz ou eficiente de resolver seus grandes desafios de dados. É útil pensar nos motores e nos idiomas como ferramentas em uma "caixa de ferramentas do implementador". "Seu trabalho é escolher a ferramenta certa.
Por exemplo, se você usar um modelo relacional, você provavelmente usará o SQL para consultá-lo. No entanto, você também pode usar linguagens alternativas, como Python ou Java. É muito importante entender quais tipos de dados podem ser manipulados pelo banco de dados e se ele é compatível com o verdadeiro comportamento transacional. Os designers de banco de dados descrevem esse comportamento com a sigla ACID. Representa
-
Atomicidade: Uma transação é "tudo ou nada" quando é atômica. Se alguma parte da transação ou o sistema subjacente falhar, toda a transação falhará.
-
Consistência: Apenas as transações com dados válidos serão realizadas no banco de dados. Se os dados estiverem corrompidos ou impróprios, a transação não será completada e os dados não serão gravados no banco de dados.
-
Isolamento: Várias transações simultâneas não interferirão entre si. Todas as transações válidas serão executadas até a conclusão e na ordem em que foram enviadas para processamento.
-
Durabilidade: Depois que os dados da transação são gravados no banco de dados, ele permanece lá "para sempre. "
Engine Query Language MapReduce Tipos de dados Transações Exemplos Relacional SQL, Python, C Não Digitado ACID PostgreSQL, Oracle, DB / 2 Columnar Ruby Hadoop Predefinido e digitado Sim, se ativado HBase Gráfico Caminhada, Pesquisa, Cypher Não Untyped ACID Neo4J Documento Comandos JavaScript Digitado Não MongoDB, CouchDB Valor-chave Lucene, Comandos JavaScript BLOB, semityped Não Riak, Redis
Depois de entender seus requisitos e entender quais dados você está reunindo, onde colocá-lo e o que Para fazer isso, você precisa organizá-lo para que ele possa ser consumido para análise, relatórios ou aplicativos específicos.
