Camada 1 da grande pilha de dados: infra-estrutura de segurança - padrões

Os requisitos de segurança e privacidade, a camada 1 da grande pilha de dados, são semelhantes aos requisitos para ambientes de dados convencionais. Os requisitos de segurança devem ser alinhados com as necessidades comerciais específicas. Alguns desafios únicos surgem quando grandes dados se tornam parte da estratégia:

• Acesso a dados: O acesso do usuário a dados grandes crus ou calculados tem o mesmo nível de requisitos técnicos que as implementações de dados não grandes. Os dados devem estar disponíveis apenas para aqueles que têm uma necessidade comercial legítima para examinar ou interagir com ele. A maioria das principais plataformas de armazenamento de dados tem esquemas de segurança rigorosos e são aumentadas com uma capacidade de identidade federada, proporcionando acesso apropriado nas várias camadas da arquitetura.

• Acesso à aplicação: O acesso das aplicações aos dados também é relativamente direto do ponto de vista técnico. A maioria das interfaces de programação de aplicativos (APIs) oferecem proteção contra uso ou acesso não autorizado. Este nível de proteção provavelmente é adequado para a maioria das implementações de dados grandes.

• Criptografia de dados: A criptografia de dados é o aspecto mais desafiador da segurança em um grande ambiente de dados. Em ambientes tradicionais, criptografar e descriptografar dados realmente enfatizam os recursos dos sistemas. Esse problema é exacerbado com grandes dados. A abordagem mais simples é fornecer uma capacidade computacional cada vez mais rápida. Uma abordagem mais temperada é identificar os elementos de dados que exigem esse nível de segurança e criptografar apenas os itens necessários.

• Detecção de ameaças: A inclusão de dispositivos móveis e redes sociais aumenta exponencialmente a quantidade de dados e as oportunidades para ameaças de segurança. Portanto, é importante que as organizações adotem uma abordagem multiperímetro para a segurança.

Assim, a infra-estrutura física permite que tudo e infra-estrutura de segurança protejam todos os elementos em seu grande ambiente de dados. O próximo nível na pilha é as interfaces que fornecem acesso bidirecional a todos os componentes da pilha - desde aplicativos corporativos até feeds de dados da Internet.

Uma parte importante do design dessas interfaces é a criação de uma estrutura consistente, compartilhável dentro e talvez fora da empresa, bem como com parceiros tecnológicos e parceiros de negócios.

Durante décadas, os programadores usaram APIs para fornecer acesso a e de implementações de software. Os provedores de ferramentas e tecnologia farão grandes esforços para garantir que seja uma tarefa relativamente direta criar novos aplicativos usando seus produtos.Embora muito útil, às vezes é necessário que os profissionais de TI criem APIs personalizadas ou proprietárias exclusivas para a empresa.

Você precisará fazer isso por vantagem competitiva, uma necessidade exclusiva para sua organização ou alguma outra demanda de negócios, e não é uma tarefa simples. As APIs precisam ser bem documentadas e mantidas para preservar o valor para o negócio. Por esta razão, algumas empresas optam por usar kits de ferramentas API para obter um salto de partida nesta importante atividade.

Os kits de ferramentas da API têm algumas vantagens em relação às API desenvolvidas internamente. O primeiro é que os kits de ferramentas da API são produtos criados, gerenciados e mantidos por terceiros independentes. Em segundo lugar, eles são projetados para resolver um requisito técnico específico.

Grandes desafios de dados exigem uma abordagem ligeiramente diferente para desenvolvimento ou adoção de API. Porque grande parte dos dados não é estruturada e é gerada fora do controle de sua empresa, uma nova técnica, denominada Processamento de Idioma Natural (PNL), está emergindo como o método preferido para a interface entre grandes dados e seus programas de aplicativos.

NLP permite que você formule consultas com sintaxe de linguagem natural em vez de uma linguagem de consulta formal como SQL. Para a maioria dos grandes usuários de dados, será muito mais fácil perguntar "Listar todos os consumidores masculinos casados ​​entre 30 e 40 anos que residem no sudeste dos Estados Unidos e são fãs de NASCAR" do que escrever uma consulta SQL de 30 linhas para a resposta.

Como a maior parte da coleta e movimento de dados tem características muito semelhantes, você pode criar um conjunto de serviços para reunir, limpar, transformar, normalizar e armazenar grandes itens de dados no sistema de armazenamento de sua escolha.

Para criar a maior flexibilidade possível, a fábrica pode ser conduzida com descrições de interface escritas em Extensible Markup Language (XML). Esse nível de abstração permite que as interfaces específicas sejam criadas de forma fácil e rápida sem a necessidade de criar serviços específicos para cada fonte de dados.

Na prática, você pode criar uma descrição das interfaces de aplicativos SAP ou Oracle usando algo como XML. Cada interface usaria o mesmo software subjacente para migrar dados entre o grande ambiente de dados e o ambiente de aplicação de produção, independentemente dos específicos de SAP ou Oracle. Se você precisa reunir dados de sites sociais na Internet, a prática seria idêntica.

Descreva as interfaces para os sites em XML e envie os serviços para mover os dados para frente e para trás. Normalmente, essas interfaces são documentadas para serem usadas por tecnólogos internos e externos.