Raspagem, coleta e manipulação de ferramentas de ciência de dados - manequins

Se você precisa de dados para suportar uma análise de negócios ou uma peça de jornalismo, a raspagem na web pode ajudá-lo a rastrear origens de dados interessantes e únicas. Em web-scraping você configura programas automatizados e, em seguida, deixe-os navegar na web para os dados que você precisa. Aqui estão ferramentas grátis do szome que você pode usar para raspar dados ou imagens, incluindo importação. io, ImageQuilts e DataWrangler.

Raspando dados com importação. io

Alguma vez você já tentou copiar e colar uma tabela da web em um documento do Microsoft Office e, em seguida, não conseguiu colocar as colunas na linha corretamente? Frustrante, certo? Este é exatamente o ponto de dor que importa. io foi projetado para abordar.

importar. io - pronunciado "import-eye-oh" - é um aplicativo de desktop gratuito que você pode usar para copiar, colar, limpar e formatar sem qualquer parte de uma página da Web com apenas alguns cliques do mouse. Você pode até importar. io para rastrear automaticamente e extrair dados de listas de várias páginas.

Usando importação. io, você pode raspar dados de uma série de páginas simples ou complicadas:

• Simples: Acesse as páginas da Web através de hiperlinks simples que aparecem na Página 1, Página 2, Página 3.

• Complicado: > Preencha um formulário ou escolha em uma lista suspensa e envie seu pedido de raspagem para a ferramenta. importar. O recurso mais impressionante do io é a sua capacidade de observar os cliques do mouse para aprender o que deseja e, em seguida, oferecer-lhe maneiras de completar automaticamente suas tarefas para você. Embora importar. io aprende e sugere tarefas, não agem nessas tarefas até depois de ter marcado a sugestão como correta. Conseqüentemente, essas interações aumentadas pelo homem reduzem o risco de que a máquina tire uma conclusão incorreta devido ao excesso de adivinhação.

Coletar imagens com ImageQuilts

ImageQuilts é uma extensão do Chrome desenvolvida em parte pelo lendário Edward Tufte, um dos primeiros grandes pioneiros na visualização de dados - ele popularizou o uso do dados-para- tinta para avaliar a eficácia dos gráficos.

A tarefa que o ImageQuilts executa é enganosamente simples de descrever, mas muito complexa de implementar. ImageQuilts faz colagens de dezenas de imagens e as põe todas juntas em uma "colcha" que é composta por múltiplas linhas de igual altura. Esta tarefa pode ser complexa porque as imagens de origem são quase nunca a mesma altura. ImageQuilts raspa e redimensiona as imagens antes de juntá-las em uma imagem de saída.

A colcha de imagem mostrada foi derivada de uma pesquisa de imagens do Google Labeled for Reuse do termo

data science . ImageQuilts até permite que você escolha a ordem das imagens ou as aleiteie. Você pode usar a ferramenta para arrastar e soltar qualquer imagem em qualquer lugar, remover uma imagem, ampliar todas as imagens ao mesmo tempo ou ampliar cada imagem individualmente.

Você pode até usar a ferramenta para encobrir as cores da imagem - da cor para a escala de cinza ou da cor invertida (o que é útil para fazer folhas de contato de negativos, se você for uma dessas pessoas raras que ainda processam a técnica analógica).

Wrangling data with DataWrangler

DataWrangler é uma ferramenta online suportada pelo Laboratório de Dados Interativos da Universidade de Washington (no momento em que DataWrangler foi desenvolvido, este grupo foi chamado de Stanford Visualization Group). Este mesmo grupo desenvolveu Lyra, um ambiente de visualização de dados interativo que você pode usar para criar visualizações complexas sem experiência em programação.

Se o seu objetivo é

esculpe seu conjunto de dados - ou limpe as coisas, movendo as coisas como um escultor (dividir essa parte em duas, cortar esse bit e movê-lo para lá, empurrar para baixo para que tudo abaixo seja deslocado para a direita, e assim por diante) - DataWrangler é a ferramenta para você. Você pode manipular com DataWrangler semelhante ao que você pode fazer no Excel usando o Visual Basic. Por exemplo, você pode usar DataWrangler ou Excel com o Visual Basic para copiar, colar e formatar informações de listas na Internet.

O DataWrangler ainda sugere ações com base em seu conjunto de dados e pode repetir ações complexas em conjuntos de dados inteiros - ações como eliminar linhas ignoradas, dividir dados de uma coluna em duas ou transformar um cabeçalho em dados de coluna. O DataWrangler também pode mostrar onde o seu conjunto de dados está faltando dados.

Os dados em falta podem indicar um erro de formatação que precisa ser limpo.