Lar Finanças Pessoais Imagem Classificação com Hadoop - dummies

Imagem Classificação com Hadoop - dummies

Vídeo: Vídeo 1 - Da Série Dicas de Machine Learning - Classificação de Times por Imagens 2025

Vídeo: Vídeo 1 - Da Série Dicas de Machine Learning - Classificação de Times por Imagens 2025
Anonim

A classificação da imagem requer uma quantidade significativa de recursos de processamento de dados, no entanto, que limitou a escala de implantações. A classificação da imagem é um tópico quente no mundo Hadoop porque nenhuma tecnologia convencional era capaz - até Hadoop surgir - de abrir portas para esse tipo de processamento caro em escala tão grande e eficiente.

A classificação da imagem começa com a noção de que você constrói um conjunto de treinamento e que os computadores aprendem a identificar e classificar o que eles estão procurando. Da mesma forma que ter mais dados ajuda a construir melhor detecção de fraude e modelos de risco, também ajuda os sistemas a classificar melhor as imagens.

Neste caso de uso, os dados são referidos como o conjunto de treinamento, bem como os modelos são classificadores. Classificadores reconhecem recursos ou padrões dentro de som, imagem ou vídeo e classificá-los adequadamente. Os classificadores são construídos e refinados iterativamente a partir de conjuntos de treinamento para que suas pontuações de precisão (uma medida de exatidão) e pontuação de recall (uma medida de cobertura) sejam altas.

O Hadoop é adequado para a classificação da imagem porque fornece um ambiente de processamento massivamente paralelo para não apenas criar modelos classificadores (iterando sobre conjuntos de treinamento), mas também fornecer uma escalabilidade quase ilimitada para processar e executar esses classificadores em conjuntos maciços de volumes de dados não estruturados.

Considere fontes multimídia como YouTube, Facebook, Instagram e Flickr - todas são fontes de dados binários não estruturados. A figura mostra uma maneira de usar o Hadoop para dimensionar o processamento de grandes volumes de imagens armazenadas e de vídeo para classificação semântica de multimídia.

Você pode ver como todos os conceitos relacionados ao framework de processamento Hadoop são aplicados a esses dados. Observe como as imagens são carregadas no HDFS. Os modelos de classificador, construídos ao longo do tempo, agora são aplicados aos componentes de recursos de imagem adicionais na fase de Mapa desta solução. Como você pode ver no canto inferior direito, a saída deste processamento consiste em classificações de imagem que variam de desenhos animados a esportes e locais, entre outros.

Hadoop também pode ser usado para análise de áudio ou voz. Um cliente da indústria de segurança com quem trabalhamos cria um sistema de classificação de áudio para classificar os sons que são ouvidos através de cabos de fibra óptica enriquecidos acústicamente colocados ao redor do perímetro de reatores nucleares.

Por exemplo, este sistema sabe classificar quase instantaneamente o sussurro do vento em comparação com o sussurro de uma voz humana ou distinguir o som de passos humanos que correm nos parques perimétricos do que da vida selvagem.

Esta descrição pode ter uma forma de Star Trek sentir, mas agora você pode ver exemplos ao vivo. Na verdade, a IBM torna público um dos maiores sistemas de classificação de imagens do mundo, através do IBM Multimedia Analysis and Retrieval System (IMARS).

Aqui estão o resultado de uma pesquisa IMARS para o termo esqui alpino. Na parte superior da figura, você pode ver os resultados dos classificadores mapeados para o conjunto de imagens que foi processado pelo Hadoop, juntamente com uma nuvem de tag associada.

Observe o classificador pai mais grosseiramente definido, em oposição ao mais granular. Na verdade, observe as várias camadas de classificação: rola para dentro, o qual rola em - tudo gerado automaticamente pelo modelo classificador, construído e marcado usando o Hadoop.

Nenhuma dessas imagens possui metadados adicionados. Ninguém abriu o iPhoto e marcou uma imagem como esporte de inverno para que apareça nesta classificação. É o classificador do desporto de inverno que foi construído para reconhecer atributos de imagem e características de esportes que são jogados em uma configuração de inverno.

A classificação da imagem tem muitas aplicações, e ser capaz de realizar essa classificação em grande escala usando Hadoop abre mais possibilidades de análise, pois outras aplicações podem usar as informações de classificação geradas para as imagens.

Veja este exemplo da indústria da saúde. Uma grande agência de saúde na Ásia estava focada na entrega de cuidados de saúde através de clínicas móveis a uma população rural distribuída em uma grande massa terrestre. Um problema significativo que a agência enfrentou foi o desafio logístico de analisar os dados de imagens médicas que foram gerados em suas clínicas móveis.

Um radiologista é um recurso escasso nesta parte do mundo, então fazia sentido transmitir eletronicamente as imagens médicas para um ponto central e ter um exército de médicos para examiná-las. Os médicos examinando as imagens foram rapidamente sobrecarregados, no entanto.

A agência está trabalhando agora em um sistema de classificação para ajudar a identificar possíveis condições para fornecer efetivamente sugestões para que os médicos verifiquem. O teste precoce mostrou esta estratégia para ajudar a reduzir o número de diagnósticos perdidos ou imprecisos, economizando tempo, dinheiro e, acima de tudo, vidas.

Imagem Classificação com Hadoop - dummies

Escolha dos editores

Dicas para direcionar seu filme digital - manequins

Dicas para direcionar seu filme digital - manequins

Como diretor, é seu trabalho levar o filme a vida através de da maneira como seus atores interpretam os personagens e como a equipe filme cada tiro. O diretor trabalha com os atores e a equipe para obter o melhor deles e certifique-se de que a história seja contada através do que eles fazem. Dirigindo seu ...

Dez Wedding DSLR Filmmaking Techniques - dummies

Dez Wedding DSLR Filmmaking Techniques - dummies

Usando sua DSLR para filmar um casamento geralmente reside no final oposto da peça criativa espectro de fazer seu filme de autor. Aqui estão os dez melhores aspectos que você precisa considerar para mantê-lo vivo ao capturar esse evento único na vida. Tenha o equipamento de vídeo certo Você não poderá fazer um casamento até ...

Dez dicas para filmes documentários DSLR - dummies

Dez dicas para filmes documentários DSLR - dummies

Um documentário é uma conta de filme de não ficção de um tópico. Para fazer seu documentário DSLR de qualquer comprimento e assunto em algo que as pessoas acham interessante, considere estas dez dicas. Conheça o tópico que pretende filmar Se você está fazendo um filme de duração de duas horas ou um vídeo on-line de dois minutos, você precisa ...

Escolha dos editores

Como lucrar com a mamãe Blogando sem vender - manequins

Como lucrar com a mamãe Blogando sem vender - manequins

Vender é um termo usado para comprometendo sua integridade, princípios ou moral para ganhar dinheiro ou sucesso. O problema é que, se todos tivessem os mesmos princípios e a definição de integridade, não haveria muita necessidade de diferentes partidos políticos ou religiões. As pessoas podem ser acusadas de vender se eles simplesmente fazem coisas como ...

Como usar corretamente palavras-chave para sua comunidade online - manequins

Como usar corretamente palavras-chave para sua comunidade online - manequins

Quando você tem uma boa idéia de os tipos de palavras-chave para usar em sua comunidade online, é hora de escrever o conteúdo para que pareça natural. Muitas pessoas pimenta palavras-chave liberalmente em torno de suas postagens de blog, artigos da web, sobre páginas e outros conteúdos, o que parece bobo e errado. Embora o uso de palavras-chave seja bom ...

Como colocar anúncios no seu blog - manequins

Como colocar anúncios no seu blog - manequins

Para obter anúncios no site do seu blog, os programas que você Inscreva-se para fornecer-lhe geralmente um pouco de código que você insere em seus modelos de site. Alguns programas têm instruções passo-a-passo para pacotes populares de software de blog, mas esteja ciente de que você também precisará consultar a documentação do seu blog para obter ajuda com ...

Escolha dos editores

Exibindo Números como palavras no Excel - manequins

Exibindo Números como palavras no Excel - manequins

Se você já precisou exibir um número escrito como texto , você provavelmente descobriu que o Excel não oferece essa função. Quando o Excel não entrega, muitas vezes é possível corrigir a deficiência usando o VBA. Aqui está uma função VBA, denominada SPELLDOLLARS, que você pode usar nas fórmulas da planilha. Exemplos de Excel Aqui estão ...

Determinando a audiência para seu modelo financeiro - manequins

Determinando a audiência para seu modelo financeiro - manequins

Que estará visualizando ou usando seu modelo financeiro no futuro ? Se for apenas para seu próprio uso, você ainda deve seguir um bom modelo de design, mas não há necessidade de passar muito tempo na formatação para que pareça legal. Você ainda deve adicionar suposições e documentação de origem para o seu próprio ...

Eliminando células e dados no Excel 2007 - dummies

Eliminando células e dados no Excel 2007 - dummies

No Microsoft Office Excel 2007, quando você precisa excluir dados , remova a formatação em uma seleção de célula ou remova células inteiras, linhas ou colunas, você tem muitas opções dependendo do seu objetivo. O Excel pode executar dois tipos de exclusões de células em uma planilha: limpar dados de células e excluir a célula. Limpar o conteúdo da célula Limpar apenas ...