Lar Finanças Pessoais Imagem Classificação com Hadoop - dummies

Imagem Classificação com Hadoop - dummies

Vídeo: Vídeo 1 - Da Série Dicas de Machine Learning - Classificação de Times por Imagens 2025

Vídeo: Vídeo 1 - Da Série Dicas de Machine Learning - Classificação de Times por Imagens 2025
Anonim

A classificação da imagem requer uma quantidade significativa de recursos de processamento de dados, no entanto, que limitou a escala de implantações. A classificação da imagem é um tópico quente no mundo Hadoop porque nenhuma tecnologia convencional era capaz - até Hadoop surgir - de abrir portas para esse tipo de processamento caro em escala tão grande e eficiente.

A classificação da imagem começa com a noção de que você constrói um conjunto de treinamento e que os computadores aprendem a identificar e classificar o que eles estão procurando. Da mesma forma que ter mais dados ajuda a construir melhor detecção de fraude e modelos de risco, também ajuda os sistemas a classificar melhor as imagens.

Neste caso de uso, os dados são referidos como o conjunto de treinamento, bem como os modelos são classificadores. Classificadores reconhecem recursos ou padrões dentro de som, imagem ou vídeo e classificá-los adequadamente. Os classificadores são construídos e refinados iterativamente a partir de conjuntos de treinamento para que suas pontuações de precisão (uma medida de exatidão) e pontuação de recall (uma medida de cobertura) sejam altas.

O Hadoop é adequado para a classificação da imagem porque fornece um ambiente de processamento massivamente paralelo para não apenas criar modelos classificadores (iterando sobre conjuntos de treinamento), mas também fornecer uma escalabilidade quase ilimitada para processar e executar esses classificadores em conjuntos maciços de volumes de dados não estruturados.

Considere fontes multimídia como YouTube, Facebook, Instagram e Flickr - todas são fontes de dados binários não estruturados. A figura mostra uma maneira de usar o Hadoop para dimensionar o processamento de grandes volumes de imagens armazenadas e de vídeo para classificação semântica de multimídia.

Você pode ver como todos os conceitos relacionados ao framework de processamento Hadoop são aplicados a esses dados. Observe como as imagens são carregadas no HDFS. Os modelos de classificador, construídos ao longo do tempo, agora são aplicados aos componentes de recursos de imagem adicionais na fase de Mapa desta solução. Como você pode ver no canto inferior direito, a saída deste processamento consiste em classificações de imagem que variam de desenhos animados a esportes e locais, entre outros.

Hadoop também pode ser usado para análise de áudio ou voz. Um cliente da indústria de segurança com quem trabalhamos cria um sistema de classificação de áudio para classificar os sons que são ouvidos através de cabos de fibra óptica enriquecidos acústicamente colocados ao redor do perímetro de reatores nucleares.

Por exemplo, este sistema sabe classificar quase instantaneamente o sussurro do vento em comparação com o sussurro de uma voz humana ou distinguir o som de passos humanos que correm nos parques perimétricos do que da vida selvagem.

Esta descrição pode ter uma forma de Star Trek sentir, mas agora você pode ver exemplos ao vivo. Na verdade, a IBM torna público um dos maiores sistemas de classificação de imagens do mundo, através do IBM Multimedia Analysis and Retrieval System (IMARS).

Aqui estão o resultado de uma pesquisa IMARS para o termo esqui alpino. Na parte superior da figura, você pode ver os resultados dos classificadores mapeados para o conjunto de imagens que foi processado pelo Hadoop, juntamente com uma nuvem de tag associada.

Observe o classificador pai mais grosseiramente definido, em oposição ao mais granular. Na verdade, observe as várias camadas de classificação: rola para dentro, o qual rola em - tudo gerado automaticamente pelo modelo classificador, construído e marcado usando o Hadoop.

Nenhuma dessas imagens possui metadados adicionados. Ninguém abriu o iPhoto e marcou uma imagem como esporte de inverno para que apareça nesta classificação. É o classificador do desporto de inverno que foi construído para reconhecer atributos de imagem e características de esportes que são jogados em uma configuração de inverno.

A classificação da imagem tem muitas aplicações, e ser capaz de realizar essa classificação em grande escala usando Hadoop abre mais possibilidades de análise, pois outras aplicações podem usar as informações de classificação geradas para as imagens.

Veja este exemplo da indústria da saúde. Uma grande agência de saúde na Ásia estava focada na entrega de cuidados de saúde através de clínicas móveis a uma população rural distribuída em uma grande massa terrestre. Um problema significativo que a agência enfrentou foi o desafio logístico de analisar os dados de imagens médicas que foram gerados em suas clínicas móveis.

Um radiologista é um recurso escasso nesta parte do mundo, então fazia sentido transmitir eletronicamente as imagens médicas para um ponto central e ter um exército de médicos para examiná-las. Os médicos examinando as imagens foram rapidamente sobrecarregados, no entanto.

A agência está trabalhando agora em um sistema de classificação para ajudar a identificar possíveis condições para fornecer efetivamente sugestões para que os médicos verifiquem. O teste precoce mostrou esta estratégia para ajudar a reduzir o número de diagnósticos perdidos ou imprecisos, economizando tempo, dinheiro e, acima de tudo, vidas.

Imagem Classificação com Hadoop - dummies

Escolha dos editores

A Igreja Católica nos séculos XIV e XV - manequins

A Igreja Católica nos séculos XIV e XV - manequins

Enquanto o Papa Inocêncio III (1198-1216) ) sintetizou o zênite do poder e influência papal, o Papa Bonifácio VIII (1294-1303) personificou um dos pontificados mais complicados, misteriosos e às vezes contraditórios da Igreja. O rei Filipe IV da França e Bonifácio tornaram-se inimigos amargos no começo. Seu relacionamento piorou ao longo do tempo, e em 1303, Philip enviou mercenários ...

Catolicismo All-In-One For Dummies Cheat Sheet - dummies

Catolicismo All-In-One For Dummies Cheat Sheet - dummies

Enquanto diz as orações do Rosário, os católicos meditam sobre os chamados Mistérios Alegres, luminosos, dolorosos e gloriosos do Rosário. Mas dizer que os mistérios não são realmente mistérios, porque cada chamado mistério se refere a uma passagem diferente na vida de Cristo ou Maria, sua mãe. Cada década (um Nosso ...

10 Católicos famosos - manequins

10 Católicos famosos - manequins

Aqui está uma lista de dez dos católicos mais famosos, começando com os mais famosos. Mas tome cuidado: apenas ser batizado católico não significa que uma pessoa seja uma boa católica. A Igreja Católica acredita que um bom católico é aquele que regularmente e fielmente pratica sua fé todos os dias de sua vida. Uma pessoa ...

Escolha dos editores

Como girar objetos de desenho no PowerPoint 2007 - dummies

Como girar objetos de desenho no PowerPoint 2007 - dummies

O PowerPoint rotate handle permite que você dê os desenhos seus slides são inclinados. Com a alça de rotação do PowerPoint, você pode girar um objeto para qualquer ângulo arbitrário apenas arrastando-o com o mouse. O identificador de rotação é o identificador verde que aparece quando você seleciona um objeto que pode ser girado. A rotação ...

Como executar um programa através de uma hiperligação no PowerPoint 2013 - dummies

Como executar um programa através de uma hiperligação no PowerPoint 2013 - dummies

Uma hiperligação do PowerPoint pode também executar qualquer programa dentro de uma apresentação. Por exemplo, você pode criar uma apresentação que explica como comercializar um novo programa de computador e, em seguida, criar um hiperlink para o mesmo programa para que você possa demonstrar como esse programa realmente funciona. Quando você sair desse programa, você retorna para o seu ...

Como reorganizar slides na exibição do classificador de slides do PowerPoint 2016 - dummies

Como reorganizar slides na exibição do classificador de slides do PowerPoint 2016 - dummies

Exibição normal no PowerPoint 2016 is a visão em que você normalmente trabalha para editar seus slides, mover as coisas, adicionar texto ou gráficos, e assim por diante. No entanto, a Visão Normal tem uma limitação séria: não dá uma imagem muito importante da sua apresentação. Você pode ver os detalhes de apenas um slide em um ...

Escolha dos editores

Gerentes de comunidade on-line são multitarefas - manequins

Gerentes de comunidade on-line são multitarefas - manequins

Não só você tem que usar muitos chapéus como uma comunidade on-line gerente, mas às vezes você também sente que está vestindo todos eles ao mesmo tempo. Em qualquer dia, você pode esperar ter pelo menos meia dúzia de janelas do computador abertas ao mesmo tempo. Você pode ter ...

Community Manager: como representar a marca - dummies

Community Manager: como representar a marca - dummies

Como a representação mais pública do seu A marca, você, o gerente da comunidade online, é a pessoa a quem todos estarão buscando comentários, perguntas, sugestões e até propostas de negócios. Ao atuar como porta-voz da marca, você tem muitos itens a considerar: políticas sobre divulgação, transparência e o que divulgar ao público: Às vezes ...

Gerentes de comunidade on-line devem encontrar humor em situações difíceis - manequins

Gerentes de comunidade on-line devem encontrar humor em situações difíceis - manequins

Não todas as crises que enfrenta como on-line O gerente da comunidade tem que ser silencioso ou super sério. Você encontrará que as pessoas apreciam marcas que mostram um lado humano. Se você pode tratar a negatividade com humor e não insultar a inteligência de sua comunidade, você não só controlará os danos, mas também poderá atrair uma série de novos ...