Lar Finanças Pessoais 10 Recursos fenomenais para dados abertos - dummies

10 Recursos fenomenais para dados abertos - dummies

Índice:

Vídeo: GE debate o futuro da energia 2024

Vídeo: GE debate o futuro da energia 2024
Anonim

Os dados abertos fazem parte de uma tendência maior para uma compreensão menos restritiva e mais aberta da idéia de propriedade intelectual, uma tendência que vem ganhando enorme popularidade na última década. Dados abertos são dados que foram disponibilizados publicamente e podem ser usados, reutilizados, construídos e compartilhados com outros. Os dados abertos fazem parte do movimento aberto.

Além dos dados abertos, este designado movimento aberto também inclui software de código aberto, hardware aberto, trabalho criativo de conteúdo aberto, acesso aberto a revistas científicas e ciência aberta - tudo comprometido com a noção de que O conteúdo (incluindo dados brutos de experimentos) deve ser compartilhado livremente.

A característica distintiva das licenças abertas é que eles têm copyleft em vez de direitos autorais. Com copyleft, a única restrição é que a origem do trabalho deve ser identificada, às vezes com a ressalva que o derivado funciona não pode ser protegido por direitos autorais com uma licença mais restritiva do que o original. Se a segunda condição estiver em vigor, comercializar com sucesso o trabalho em si torna-se difícil, embora as pessoas muitas vezes encontrem muitas outras vias de comercialização indiretas e criativas.

Esteja ciente de que às vezes o trabalho rotulado como aberto pode não corresponder à definição aceita. Você é responsável por verificar os direitos de licenciamento e as restrições dos dados abertos que você usa.

As pessoas geralmente confundem licenças abertas com licenças Creative Commons. Creative Commons é uma organização sem fins lucrativos que se dedica a incentivar e espalhar trabalhos criativos, oferecendo um quadro legal através do qual as permissões de uso podem ser concedidas e obtidas, para que as partes compartilhando sejam seguras de riscos legais ao construir sobre e usando o trabalho e o conhecimento abertamente compartilhado. Algumas licenças Creative Commons estão abertas, e algumas explicitamente proíbem trabalhos derivados e / ou comercialização.

Como parte de iniciativas governamentais abertas mais recentes, governos em todo o mundo começaram a liberar dados abertos do governo. Os governos geralmente fornecem esses dados para que possam ser usados ​​por analistas voluntários e hackers civis - programadores que trabalham em colaboração para construir soluções de código aberto que usam dados abertos para resolver problemas sociais - em um esforço para beneficiar a sociedade em ampla. Em 2013, as nações do G8 (França, Estados Unidos, Reino Unido, Rússia, Alemanha, Japão, Itália e Canadá) assinaram uma carta comprometendo-se a abrir dados, priorizando áreas de estatísticas nacionais, resultados eleitorais, orçamentos governamentais, e mapas nacionais.

O movimento aberto do governo promove a transparência e a responsabilidade do governo, nutre um eleitorado bem informado e encoraja o engajamento público. Para colocá-lo em termos de computação, o governo aberto facilita uma relação de leitura / escrita entre um governo e sua cidadania.

Escavação de dados. gov

Os dados. O governo administrativo iniciou o programa gov para fornecer acesso aberto aos dados do governo U. S. não classificados. Dados. Os dados governamentais estão sendo produzidos por todos os departamentos do poder executivo - a Casa Branca e todos os departamentos do nível do gabinete -, bem como conjuntos de dados de outros níveis de governo. Até meados de 2014, você poderia procurar mais de 100 000 conjuntos de dados usando os Dados. gov search. O site é um recurso incomparável se você estiver procurando por dados obtidos pelo governo dos EUA sobre os seguintes indicadores:

  • Economia
  • Ambiente
  • indústria STEM
  • Qualidade de vida
  • Legal

Verificação Dados Abertos do Canadá

Se você der uma olhada no site do Canadá Open Data, o forte compromisso da nação com os dados é esmagadoramente evidente. No site do Canada Open Data, você pode encontrar mais de 200 000 conjuntos de dados. Entre as 25 ofertas mais populares no site Open Open de Canadá, existem conjuntos de dados que abrangem os seguintes indicadores:

  • Ambiental
  • Cidadania
  • Qualidade de vida

Mergulho em dados. gov. Reino Unido

O Reino Unido começou um início tardio no movimento aberto do governo. Dados. gov. O Reino Unido foi iniciado em 2010 e, até meados de 2014, apenas cerca de 20 000 conjuntos de dados ainda estavam disponíveis. Como dados. gov, dados. gov. O Reino Unido também é alimentado pelo catálogo de dados CKAN.

Embora os dados. gov. O Reino Unido ainda está a jogar catch-up, tem uma coleção impressionante de mapas de levantamento de ordnance com idade suficiente - 50 anos ou mais - para estar fora dos direitos autorais. Se você está procurando por mapas de pesquisa de renome mundial, de uso gratuito, dados. gov. Reino Unido é um lugar incrível para você explorar. Além dos mapas de levantamento estelar, dados. gov. uk é uma fonte útil para dados sobre os seguintes indicadores:

  • Environmental (dados. o tema mais prolífico do governo)
  • Despesas governamentais
  • Societal
  • Saúde
  • Educação
  • Negócios e econômico

Verificando os dados do Bureau do Censo dos EUA

O Censo dos Estados Unidos é realizado a cada dez anos e, desde 2010, os dados foram disponibilizados gratuitamente. As estatísticas estão disponíveis até o nível do bloco de censos - o que agrega em 30 pessoas em média. Os dados demográficos fornecidos pelo US Census Bureau podem ser extremamente úteis se você estiver fazendo pesquisa de marketing ou publicidade e precisa segmentar seu público de acordo com as seguintes classificações:

  • Idade
  • Renda média anual
  • Tamanho do agregado familiar < Sexo ou raça
  • Nível de educação
  • Conhecer dados da NASA

Desde a sua criação em 1958, a NASA tornou público todos os seus dados de projeto não classificados. Já esteve no jogo de dados abertos há tanto tempo que a NASA tem toneladas de dados! Os conjuntos de dados da NASA estão crescendo ainda mais rapidamente com as recentes melhorias em tecnologia de satélite e comunicação. Na verdade, a NASA agora gera 4 terabytes de novos dados de ciência da Terra por dia - isso equivale a mais de um milhão de arquivos MP3.Muitos dos projetos da NASA acumularam dados na faixa petabyte.

O portal de dados aberto da NASA é chamado de dados. Este portal é uma fonte de todos os tipos de dados maravilhosos, incluindo dados sobre

Astronomia e espaço (claro!)

  • Clima
  • Ciências da vida
  • Geologia
  • Engenharia
  • Wrangling Dados do Banco Mundial

O Banco Mundial é uma instituição financeira internacional administrada pelas Nações Unidas. Fornece empréstimos aos países em desenvolvimento para pagar o investimento de capital que liderará (uma espera) a redução da pobreza e algum excedente para que as nações receptoras possam pagar os montantes do empréstimo ao longo do tempo. Como os oficiais do Banco Mundial precisam tomar decisões bem informadas sobre quais países teriam maior probabilidade de reembolsar seus empréstimos, eles reuniram uma enorme quantidade de dados nos países membros. Eles disponibilizaram esses dados ao público na página de dados abertos do Banco Mundial.

Se você está procurando dados para reforçar seu argumento em uma peça de jornalismo de dados verdadeiramente interessante que é suportada por estatísticas globais, o Banco Mundial deve ser sua fonte de acesso. Não importa o alcance do seu projeto, se você precisar de dados sobre o que está acontecendo em países em desenvolvimento, o Banco Mundial é o lugar certo. Você pode usar o site para baixar conjuntos de dados inteiros ou simplesmente visualizar as visualizações de dados on-line. Você também pode usar a API Open Data API do Banco Mundial para acessar o que você precisa.

Dados abertos do Banco Mundial fornecem dados sobre os seguintes indicadores (e muitos, muitos mais):

Agricultura e desenvolvimento rural

  • Economia e crescimento
  • Ambiente
  • Ciência e tecnologia
  • Setor financeiro < Incidência da pobreza
  • Os dados do Banco Mundial também incluem
  • microdados

- inquéritos por amostra de famílias e empresas nos países em desenvolvimento. Você pode usar microdados para explorar variações em seus conjuntos de dados. Conhecer os dados de Knoema Knoema (pronunciado "no-mah") é o maior repositório de dados públicos na web. A plataforma Knoema abriga mais de 500 bancos de dados, além de seus 150 milhões

séries temporais

- 150 milhões de coleções de dados sobre valores de atributos ao longo do tempo, ou seja. Knoema inclui, mas não está limitado a, todas estas fontes de dados: Dados governamentais de países industrializados Dados públicos nacionais de países em desenvolvimento

  • Dados das Nações Unidas
  • Dados da organização internacional
  • Dados corporativos de corporações globais
  • Knoema é um recurso excepcional se você estiver procurando por dados internacionais sobre agricultura, estatísticas da criminalidade, dados demográficos, economia, educação, energia, meio ambiente, segurança alimentar, comércio exterior, saúde, uso do solo, defesa nacional, pobreza, pesquisa e desenvolvimento, telecomunicações, turismo, transporte ou água.
  • Além de ser uma fonte de dados incrível, a Knoema é uma plataforma multifacetada de tarefas. Você pode usar a plataforma Knoema para criar painéis que acompanham automaticamente todos os seus conjuntos de dados favoritos. Você pode usar as ferramentas de visualização de dados da plataforma para ver rapidamente e facilmente seus dados em um formato de tabela ou mapa.Você pode usar o Knoema Data Atlas para detalhar entre categorias e / ou regiões geográficas e acessar rapidamente os conjuntos de dados específicos que você precisa. Como indivíduo, você pode enviar seus próprios dados e usar o Knoema como um serviço de hospedagem grátis. Acima e além de tudo isso, a Knoema ainda oferece o mercado de Knoema - um lugar onde você pode pagar para ser pago apenas por ser parte de projetos direcionados por dados.

Embora muitos dados da Knoema sejam bastante gerais, você ainda pode encontrar alguns dados surpreendentemente específicos. Se você estiver tendo dificuldade em localizar dados em um tópico específico, você pode ter sorte encontrando-o na plataforma Knoema. A figura ilustra como os dados específicos de Knoema podem ser.

O índice de registros de insetos na pesquisa de Knoema.

Enfileirando com Quandl Data

Quandl é um site baseado em Toronto que pretende ser um mecanismo de busca de dados numéricos. Ao contrário da maioria dos motores de busca, no entanto, seu banco de dados não é gerado automaticamente por aranhas que rastreiam a web. Em vez disso, ele se concentra em dados vinculados atualizados via

crowdsourcing

- atualizados manualmente por meio de curadores humanos, ou seja. Como a maioria dos dados financeiros está em formato numérico, Quandl é uma excelente ferramenta para se manter atualizado sobre a informática empresarial mais recente. Como você pode ver, uma pesquisa Apple

retorna em 4, 700 conjuntos de dados de 11 fontes diferentes com séries temporais no nível diário, semanal, mensal, trimestral ou anual. Muitos desses resultados estão relacionados aos dados agrícolas das Nações Unidas. Se você estiver procurando por dados no Apple Computers, você pode restringir o escopo da sua pesquisa substituindo o termo de pesquisa Apple pela abreviatura de estoque da empresa, AAPL. O índice dos registros da Apple na pesquisa Quandl. O banco de dados Quandl inclui links para mais de 10 milhões de conjuntos de dados (embora use uma métrica generosa ao declarar o que distingue um conjunto de dados de outro). Quandl liga para 2. 1 milhão de conjuntos de dados da ONU e muitas outras fontes, incluindo conjuntos de dados no Open Financial Data Project, bancos centrais, organizações imobiliárias e bem conhecidos think tanks.

Explorando dados de extrusão

Modelado após o GitHub - a plataforma hospedada na nuvem em que os programadores podem compartilhar e rever o código - Exversão visa fornecer a mesma funcionalidade colaborativa em torno de dados que o GitHub fornece em torno do código. A plataforma Exversion oferece funcionalidades de controle de versão e serviços de hospedagem aos quais você pode enviar e compartilhar seus dados. Para ilustrar como o Exversion funciona, imagine uma plataforma que lhe permita primeiro

fork

(ou copie) um conjunto de dados e, em seguida, faça as alterações desejadas. A exversão ficaria lá para acompanhar o que mudou do conjunto original e de todas as mudanças que você faz para ele. O Exversão também permite aos usuários avaliar, revisar e comentar em conjuntos de dados. Os conjuntos de dados hospedados na plataforma Exversion são fornecidos por um usuário ou criados por uma aranha que rastreia e indexa dados abertos para torná-lo pesquisável a partir de uma única interface de programação de aplicativos (API).Como o GitHub, com uma conta de usuário gratuita, todos os dados enviados para o Exversion são públicos. Se você estiver disposto a pagar por uma conta, você pode criar seus próprios repositórios de dados privados. Além disso, com a conta paga, você obtém a opção de compartilhar seus dados com usuários selecionados para projetos colaborativos. Mapeamento de dados espaciais do OpenStreetMap

OpenStreetMap (OSM) é uma alternativa aberta e compartilhada para produtos de mapeamento comercial, como Google Maps e ESRI ArcGIS Online. No OSM, os usuários criam, carregam ou digitalizam dados geográficos no repositório central.

A plataforma OSM é bastante robusta. Governos e empresas privadas começaram a contribuir e retirar os conjuntos de dados compartilhados. Mesmo as corporações tão grandes como a Apple estão confiando em dados OSM. OSM agora tem mais de 1 milhão de usuários cadastrados. Para ilustrar como uma pessoa pode criar dados no OSM, imagine que alguém liga os sistemas GPS em seu telefone celular para o aplicativo OSM. Por causa desta autorização, o OSM pode rastrear automaticamente as rotas das estradas enquanto a pessoa viaja. Mais tarde, essa pessoa (ou outro usuário OSM) pode entrar na plataforma online OSM para verificar e rotular as rotas.

Os dados no OSM não são armazenados como mapas, mas como representações geométricas e de texto - pontos, linhas, polígonos e anotações de mapas - para que todos os dados da OSM possam ser baixados rapidamente do site e facilmente montados em uma representação cartográfica através de uma aplicação de desktop.

10 Recursos fenomenais para dados abertos - dummies

Escolha dos editores

Origem e Design de Hadoop - dummies

Origem e Design de Hadoop - dummies

Então, o que é exatamente isso com o nome engraçado - Hadoop? No seu núcleo, o Hadoop é uma estrutura para armazenar dados em grandes clusters de hardware de commodities - hardware de computador todos os dias acessível e facilmente disponível - e executando aplicativos contra esses dados. Um cluster é um grupo de computadores interligados (conhecido como ...

A arquitetura do porco em Hadoop - dummies

A arquitetura do porco em Hadoop - dummies

"Simples" geralmente significa "elegante" quando se trata de desenhos arquitetônicos para Essa nova mansão do Vale do Silício que você planejou quando o dinheiro começa a rolar depois de implementar o Hadoop. O mesmo princípio se aplica à arquitetura de software. O porco é composto por dois componentes (count 'em, two): O próprio idioma: como prova de que os programadores ...

MapReduce Application Flow em Hadoop - dummies

MapReduce Application Flow em Hadoop - dummies

No seu núcleo, MapReduce é um modelo de programação para o processamento de conjuntos de dados que são armazenados de forma distribuída nos nós de escravo de um cluster Hadoop. O conceito-chave aqui é dividir e conquistar. Especificamente, você deseja quebrar um grande conjunto de dados em muitas peças menores e processá-las em paralelo com o mesmo algoritmo. ...

Escolha dos editores

Apoiando a sua campanha PPC com análise de palavras-chave - manequins

Apoiando a sua campanha PPC com análise de palavras-chave - manequins

A base de todo o trabalho do mecanismo de pesquisa é uma análise de palavras-chave. Fazer uma análise de palavras-chave realmente não é tão complicado e pode significar a diferença entre sucesso e falha em sua campanha PPC. Comece digitando as palavras-chave óbvias em um editor de texto ou processador de texto - aqueles que você já pensou ou, se você ...

Envie seu site para Yahoo! Search Directory - dummies

Envie seu site para Yahoo! Search Directory - dummies

Envios para o Yahoo! O diretório costumava ser muito difícil. Pesquisas mostraram que as pessoas que conseguiram obter seus sites listados no diretório tiveram que tentar várias vezes em questão de meses. Era grátis, mas era um aborrecimento. A boa notícia: você pode obter seu site listado em Yahoo! Diretório ...

Dicas para criar e otimizar conteúdo para objetos e indústrias difíceis - manequins

Dicas para criar e otimizar conteúdo para objetos e indústrias difíceis - manequins

Em A superfície, a criação de conteúdo não soa tão difícil até você se sentar e tentar escrever. Sua estratégia de SEO depende desse conteúdo. É ainda pior se você estiver escrevendo conteúdo para o que muitas pessoas podem considerar uma indústria chata. A boa notícia é que é possível transformar indivíduos potencialmente chatos em bons ...

Escolha dos editores

Componentes eletrônicos: transistores como um potenciômetro mágico - manequins

Componentes eletrônicos: transistores como um potenciômetro mágico - manequins

Um transistor dentro de um O circuito eletrônico funciona como uma combinação de um diodo e um resistor variável, também chamado de potenciômetro ou pote. Mas isso não é apenas um pote comum; é um pote mágico cujo botão é misteriosamente conectado ao diodo por raios invisíveis, tipo desse tipo: quando a tensão direta é aplicada em ...

Componentes eletrônicos: Resistores - manequins

Componentes eletrônicos: Resistores - manequins

Um resistor é um pequeno componente projetado para fornecer um específico quantidade de resistência em um circuito eletrônico. Como a resistência é um elemento essencial de quase todos os circuitos eletrônicos, você usará resistores em quase todos os circuitos que você constrói. Embora os resistores venham em uma variedade de tamanhos e formas, o tipo mais comum ...