Obtendo Algoritmos no Negócio - manequins

A raça humana está agora em uma interseção incrível de volumes de dados sem precedentes, gerados por hardware cada vez mais pequeno e poderoso e analisados ​​por algoritmos que esse mesmo O processo ajudou a desenvolver. Não é simplesmente uma questão de volume, o que por si só é um desafio difícil.

Como formalizada pela empresa de pesquisa Gartner em 2001 e depois retomada e expandida por outras empresas, como a IBM, os grandes dados podem ser resumidos por quatro V s representando suas principais características:

• Volume: A quantidade de dados
• Velocidade: A velocidade de geração de dados
• Variedade: O número e tipos de fontes de dados
• Veracidade: A qualidade e a voz autorizada dos dados (quantificação de erros, dados incorretos e ruídos misturados com sinais), uma medida da incerteza dos dados

Cada característica de dados grandes oferece um desafio e uma oportunidade. Por exemplo, o volume considera a quantidade de dados úteis. O que uma organização considera que grandes dados podem ser dados pequenos para outro. A incapacidade de processar os dados em uma única máquina não torna os dados grandes. O que diferencia os grandes dados dos dados comerciais como habituais é que obriga uma organização a revisar seus métodos e soluções prevalentes, e empurra as tecnologias e algoritmos presentes para a frente.

A variedade permite o uso de dados importantes para desafiar o método científico, como explicado por este marco e muito discutido artigo escrito por Chris Anderson, com o editor em chefe da na época, sobre a quantidade de dados que podem ajudar a descobertas científicas fora do método científico. O autor baseia-se no exemplo do Google nos setores de negócios de publicidade e tradução, onde a empresa poderia progredir sem usar modelos ou teorias específicos, mas aplicando algoritmos para aprender com dados. Tal como na publicidade, os dados científicos (física e biologia) podem suportar a inovação que permite que os cientistas abordem problemas sem hipóteses, mas considerando as variações encontradas em grandes quantidades de dados e por algoritmos de descoberta.

A característica de veracidade ajuda a democratizar os dados em si. No passado, as organizações acumularam dados porque eram preciosas e difíceis de obter. Neste ponto, várias fontes criam dados em quantidades tão crescentes que o acumular é sem sentido (90% dos dados do mundo foram criados nos últimos dois anos), portanto, não há motivo para limitar o acesso. Os dados estão se tornando uma mercadoria tão grande que existem muitos programas de dados abertos em todo o mundo.(Os Estados Unidos têm uma longa tradição de acesso aberto, os primeiros programas de dados abertos datam da década de 1970, quando a Administração Nacional Oceânica e Atmosférica, NOAA, começou a liberar dados meteorológicos ao público.) No entanto, como os dados se tornaram uma mercadoria, a incerteza desses dados tornou-se um problema. Você não sabe mais se os dados são completamente verdadeiros porque você pode nem saber sua origem.

Os dados tornaram-se tão onipresentes que seu valor não está mais na informação real (como dados armazenados no banco de dados de uma empresa). O valor dos dados existe na forma como você o usa. Aqui os algoritmos entram em jogo e mudam o jogo. Uma empresa como o Google se alimenta de dados livremente disponíveis, como o conteúdo de sites ou o texto encontrado em textos e livros publicamente disponíveis. No entanto, o valor que o Google extrai dos dados geralmente deriva de seus algoritmos. Como exemplo, o valor dos dados reside no algoritmo PageRank (ilustrado no Capítulo 11), que é a base muito do negócio da Google. O valor dos algoritmos também é verdade para outras empresas. O mecanismo de recomendação da Amazon contribui com uma parte significativa das receitas da empresa. Muitas empresas financeiras usam negociação algorítmica e robo-aconselhamento, alavancando dados de estoque livremente disponíveis e informações econômicas para investimentos.