Algoritmos de transmissão e Filtros de Bloom - dummies

No coração de muitos algoritmos de transmissão estão os filtros Bloom. Criada há quase 50 anos por Burton H. Bloom, na época em que a ciência da computação ainda era bastante jovem, a intenção original do criador desse algoritmo era trocar espaço (memória) e / ou tempo (complexidade) contra o que ele chamava erros permitidos. Seu artigo original é intitulado Space / Time Trade-offs em Hash Codificação com Erros Permitidos.

Você pode se perguntar sobre o espaço e o tempo que a Bloom considera motivadores para seu algoritmo. Imagine que você precisa determinar se um elemento já apareceu em um fluxo usando alguma estrutura de dados anteriormente discutida. Encontrar algo em um fluxo implica que a gravação e a busca são rápidas, portanto, uma tabela de hash parece ser uma escolha ideal. Tabelas Hash simplesmente exigem a adição de elementos que você deseja gravar e armazená-los. Recuperar um elemento de uma tabela hash é rápido porque a tabela hash usa valores facilmente manipulados para representar o elemento, em vez do próprio elemento (o que pode ser bastante complexo). No entanto, armazenar os dois elementos e um índice desses elementos tem limitações. Se uma tabela de hash tiver mais elementos do que pode manipular, como os elementos em um fluxo contínuo e potencialmente infinito, você acabará por sofrer problemas de memória em algum momento.

Uma consideração essencial para os filtros Bloom é que os falsos positivos podem ocorrer, mas falsos negativos não podem. Por exemplo, um fluxo de dados pode conter dados de monitoramento em tempo real para uma usina de energia. Ao usar um filtro Bloom, a análise do fluxo de dados mostraria que as leituras esperadas são provavelmente parte do conjunto de leituras permitidas, com alguns erros permitidos. No entanto, quando ocorre um erro no sistema, a mesma análise mostra que as leituras não fazem parte do conjunto de leituras permitidas. Os falsos positivos não são susceptíveis de causar problemas, mas a ausência de falsos negativos significa que todos permanecem seguros. Devido ao potencial de falsos positivos, filtros como o filtro Bloom são estruturas de dados probabilísticas - eles não fornecem uma certa resposta, mas uma provável.

Hashes, as entradas individuais em uma tabela de hash, são rápidas porque atuam como o índice de um livro. Você usa uma função hash para produzir o hash; a entrada é um elemento contendo dados complexos, e a saída é um número simples que atua como um índice desse elemento. Uma função hash é determinista porque produz o mesmo número toda vez que você alimenta uma entrada de dados específica.Você usa o hash para localizar as informações complexas que você precisa. Os filtros Bloom são úteis porque são uma maneira frugal de gravar vestígios de muitos elementos sem ter que armazená-los como faz uma tabela de hash. Eles funcionam de forma simples e usam o seguinte como ingredientes principais:

• Um vetor de bits: Uma lista de elementos de bits, em que cada bit no elemento pode ter um valor de 0 ou 1. A lista é longa número de bits chamado m. O maior m é, melhor, embora existam maneiras de definir de forma otimizada seu tamanho.
• Uma série de funções hash: Cada função hash representa um valor diferente. As funções de hash podem rapidamente colidir dados e produzir resultados uniformemente distribuídos, que são resultados igualmente variando do mínimo ao máximo de valores de saída do hash.