Listas de portais de dados

herrmann · Junho 12, 2019, 7:55pm

A quantidade de portais de dados abertos existentes é enorme. Para tentar ajudar a localizar os portais existentes, existe uma série de listas e catálogos de portais. A seguir, uma lista de listas e catálogos de portais que será mantida atualizada para referência.

Brasil

outras iniciativas de dados abertos – página no Portal Brasileiro de Dados Abertos que mantém referência a portais de dados abertos oficiais das diversas instâncias da administração pública no Brasil. Mantido a partir de repositório no Github.
Colaboradados – contém listas de portais de dados abertos e da transparência no Brasil
transparência e dados abertos Brasil – repositório em formato estruturado no Github para manter as referências aos portais de dados abertos e da transparência. Integrado ao Colaboradados.

Mundo

dataportals.org – catálogo de portais de dados abertos no mundo
Open Data Inception – uma lista de 2600+ portais de dados em todo o mundo
datashades.info – lista contendo estatísticas dos portais de dados que usam CKAN (mais informações neste tópico)

Para sugerir uma atualização da lista, basta responder este tópico.

andreiwid · Julho 16, 2019, 1:01pm

Olá!

Para contribuir com este tópico, referencio meus repositórios no Github contendo 1.339 portais de dados abertos utilizando as quatro principais plataformas disponíveis: CKAN, Socrata, OpenDataSoft e ArcGIS Open Data.
A ideia é complementar os repositórios indicados neste tópico. Esses portais foram todos checados a pouco tempo.
Continuo aprimorando a técnica para encontrar mais portais. Disponibilizarei aqui as atualizações. Quem quiser participar do projeto e contribuir, basta me enviar uma mensagem.

github.com

Andreiwid/wholewebdataportalsurvey/blob/master/opendataportals_final_nonduplicated.csv

TIMESTAMP;DEPTH;ID;URL;DOMAIN;PRODUCT;DATASET_TOTAL;DOMAIN_COUNTRY;IP_COUNTRY;ROOT_DOMAIN
2019-01-04 17:09:19.560941;DEPTH0;URL96294;http://accessnc.opendatasoft.com;https://accessnc.opendatasoft.com:443/pages/home/;OPENDATASOFT;54;(not available);United States;accessnc.opendatasoft.com
2019-01-04 16:19:44.491139;DEPTH0;URL25615;http://actmapi-actgov.opendata.arcgis.com;http://actmapi-actgov.opendata.arcgis.com;ARCGIS;170;(not available);United States;actmapi-actgov.opendata.arcgis.com
2019-01-04 17:09:23.967083;DEPTH0;URL96297;http://afd.opendatasoft.com;https://afd.opendatasoft.com:443/page/accueil/;OPENDATASOFT;10;(not available);Ireland;afd.opendatasoft.com
2019-01-04 17:40:30.216830;DEPTH0;URL189507;http://africaopendata.org;https://africaopendata.org:443/;CKAN;3153;(not available);Ireland;africaopendata.org
2019-01-04 17:48:53.028093;DEPTH0;URL258315;http://www.agridata.tn;http://www.agridata.tn;CKAN;190;Tunisia;Tunisia;agridata.tn
2019-01-04 16:19:48.336035;DEPTH0;URL25616;http://agroclima-murcia.opendata.arcgis.com;http://agroclima-murcia.opendata.arcgis.com;ARCGIS;48;(not available);United States;agroclima-murcia.opendata.arcgis.com
2019-01-04 16:19:51.696902;DEPTH0;URL25617;http://ais-faa.opendata.arcgis.com;http://ais-faa.opendata.arcgis.com;ARCGIS;51;(not available);United States;ais-faa.opendata.arcgis.com
2019-01-04 16:19:54.954798;DEPTH0;URL25618;http://alcaldiadeguarne-guarne.opendata.arcgis.com;http://alcaldiadeguarne-guarne.opendata.arcgis.com;ARCGIS;40;(not available);United States;alcaldiadeguarne-guarne.opendata.arcgis.com
2019-01-04 16:12:59.190278;DEPTH0;URL6541;http://alpha.data.gov.bf;http://alpha.data.gov.bf;CKAN;380;Burkina Faso;(not available);alpha.data.gov.bf
2019-01-04 17:17:27.044534;DEPTH0;URL143326;https://analisis.datosabiertos.jcyl.es;https://analisis.datosabiertos.jcyl.es;SOCRATA;74;Spain;Ireland;analisis.datosabiertos.jcyl.es
2019-01-04 17:09:25.716987;DEPTH0;URL96299;https://angersloiremetropole.opendatasoft.com;https://angersloiremetropole.opendatasoft.com/pages/home/;OPENDATASOFT;109;(not available);Netherlands;angersloiremetropole.opendatasoft.com
2019-01-04 17:32:11.311722;DEPTH0;URL150540;http://anrgeodata.vermont.gov;http://anrgeodata.vermont.gov;ARCGIS;174;(not available);United States;anrgeodata.vermont.gov
2019-01-04 17:25:05.419763;DEPTH0;URL149836;https://apd-data.albanyny.gov;https://apd-data.albanyny.gov;SOCRATA;17;(not available);United States;apd-data.albanyny.gov
2019-01-04 17:09:27.279410;DEPTH0;URL96300;https://api-agro.opendatasoft.com;https://api-agro.opendatasoft.com/pages/plateforme/;OPENDATASOFT;74;(not available);Ireland;api-agro.opendatasoft.com
2019-01-04 16:19:57.498697;DEPTH0;URL25622;http://aquar-abroxo.opendata.arcgis.com;http://aquar-abroxo.opendata.arcgis.com;ARCGIS;20;(not available);United States;aquar-abroxo.opendata.arcgis.com
2019-01-04 16:20:13.973152;DEPTH0;URL25623;http://arc-garc.opendata.arcgis.com;http://arc-garc.opendata.arcgis.com;ARCGIS;32;(not available);United States;arc-garc.opendata.arcgis.com
2019-01-04 17:06:49.487853;DEPTH0;URL26436;http://arcopendata.com;http://opendata.atlantaregional.com/;ARCGIS;32;(not available);United States;arcopendata.com
2019-01-04 16:20:17.973013;DEPTH0;URL25626;http://atlas-acsqhc.opendata.arcgis.com;http://atlas-acsqhc.opendata.arcgis.com;ARCGIS;61;(not available);United States;atlas-acsqhc.opendata.arcgis.com
2019-01-04 16:20:22.006875;DEPTH0;URL25629;http://auditor-fca.opendata.arcgis.com;http://auditor-fca.opendata.arcgis.com;ARCGIS;41;(not available);United States;auditor-fca.opendata.arcgis.com

This file has been truncated. show original

github.com

Andreiwid/opendataportalssurvey/blob/master/catsidentified_noduplication.csv

ID,SOURCE,URL,COUNTRY,PRODUCT,CKAN_DATASETCOUNT
URL1,brazilian portals,http://dados.al.gov.br,Brazil,CKAN,185
URL2,brazilian portals,http://dados.fortaleza.ce.gov.br,Brazil,CKAN,281
URL3,brazilian portals,http://api.tcm.ce.gov.br,Brazil,none,
URL4,brazilian portals,http://www.dadosabertos.df.gov.br,Brazil,ERROR,
URL5,brazilian portals,https://transparencia.es.gov.br/DadosAbertos/BaseDeDados#,Brazil,none,
URL6,brazilian portals,http://www.transparencia.go.gov.br/portaldatransparencia/institucional/dados-abertos,Brazil,none,
URL7,brazilian portals,http://dadosabertos.almg.gov.br/ws/ajuda/sobre,Brazil,none,
URL8,brazilian portals,http://www.transparencia.mg.gov.br/dados-abertos,Brazil,none,
URL9,brazilian portals,http://portal.tce.pb.gov.br/dados-abertos-do-sagres-tcepb,Brazil,none,
URL10,brazilian portals,http://www.dadosabertos.pe.gov.br,Brazil,none,
URL11,brazilian portals,http://dados.recife.pe.gov.br,Brazil,CKAN,61
URL12,brazilian portals,http://www.curitiba.pr.gov.br/dadosabertos,Brazil,none,
URL13,brazilian portals,https://www.data.rio,Brazil,ARCGIS,
URL14,brazilian portals,http://portalgeo.pcrj.opendata.arcgis.com,Brazil,ARCGIS,
URL15,brazilian portals,http://dados.rs.gov.br,Brazil,CKAN,1086
URL16,brazilian portals,http://dados.novohamburgo.rs.gov.br,Brazil,ERROR,
URL18,brazilian portals,http://www.governoaberto.sp.gov.br,Brazil,none,
URL19,brazilian portals,http://www.camara.sp.gov.br/transparencia/dados-abertos,Brazil,none,
URL20,brazilian portals,http://dadosabertos.senado.gov.br,Brazil,none,

This file has been truncated. show original

herrmann · Julho 17, 2019, 1:12pm

Olá, @andreiwid.

Muito interessante! Depois vou ver se vale fazer um batimento para encontrar portais brasileiros que não estejam inclusos nas listas que postei inicialmente, e complementá-las.

Fiquei curioso sobre qual foi a metodologia utilizada para fazer esse levantamento. Dei uma olhada no seu repositório no Github e encontrei o código, mas não uma explicação. Como foi obtida a lista inicial de URLs, ou esse “cdxfile”?

Já que você está tratando de portais de dados abertos em geral em todo o mundo, poderia ser interessante você tentar contribuir esse levantamento para o projeto dataportals.org (repositório no Github).

Das principais tecnologias para portais de dados abertos usadas no mundo, acho que só faltou citar duas: Junar (proprietário) e uData (livre).

andreiwid · Julho 26, 2019, 6:11pm

Olá @herrmann!

Obrigado pela mensagem.

Desenvolvi um método automatizado para encontrar portais de dados abertos, a partir da internet toda. A ideia foi preencher os gaps existentes atualmente para construir um repositório atualizado, checar constantemente as entradas, identificar a plataforma em uso e fornecer informações básicas como o número de datasets. Minha inspiração foi o dataportals.org.

Tenho um paper explicando toda a metodologia. Acesse o http://andreiwid.info/dgo2019paper.html para ter acesso completo à minha versão de autor. No meu Github disponibilizo os principais resultados e algoritmos, conforme parte postada no reply acima. Ainda estou tentando encontrar um repositório para disponibilizar tudo que produzi, pois o tamanho é expressivo e o Github não recebe bem grandes arquivos.

De modo muito resumido, utilizo um crawler aberto (http://commoncrawl.org) para descobrir as URLs de potenciais portais. Em seguida, testo as APIs de plataformas conhecidas a fim de identificá-las.

No roadmap de melhorias do método consta incluir mais plataformas, como as que você citou (Junar e uData) e outras que estão na pauta. Além disso, construir um dashboard para disponibilizar estas informações para a comunidade (semelhante ao dataportals.org).

Deixo aqui o convite para quem quiser contribuir com o projeto. Quem sabe utilizar o trabalho já feito pelo dataportals.org e alimentá-lo com conteúdo novo, checado constantemente.

Se quiser, vamos marcar uma conversa a respeito.

herrmann · Julho 29, 2019, 1:28pm

Muito interessante o seu trabalho, @andreiwid! Certamente irá contribuir para uma melhor polinização entre as iniciativas e para o aumento da amplitude do acesso aos dados, pois parte essencial das barreiras ao uso dos dados abertos é a sua descoberta. Até hoje, muitas pessoas que procuram dados (quiçá a maioria), sequer sabe que existe o dados.gov.br, por falta de divulgação.

Excelente! Separei o seu paper aqui e pretendo lê-lo assim que puder.

Já pensou em usar alguma solução P2P, como o IPFS ou o dat://?

Interessante! Eu não conhecia o Common Crawl, nem sabia que existiam soluções desse tipo gratuitas.

Acredito que seria ótimo disponibilizar esses dados também no dataportals.org. Ele próprio poderia ser esse dashboard, não? Por exemplo, como eu havia mencionado, já contribuí para ele o conteúdo do levantamento de portais de dados abertos no Brasil (baseado na pesquisa do Rodrigo Klein), o que resultou em um grande aumento do número de portais brasileiros que podem nele ser consultados.

Temos que ter em mente, entretanto, que nem todos os portais que utilizam ferramentas para catálogos de dados abertos, de fato o são. Por exemplo, somente no Ministério da Economia, temos o Portal de Atos da Procuradoria-Geral da Fazenda Nacional e o Catálogo de Bases de Dados do Govdata. Ambos usam CKAN, mas não são portais de dados abertos. Essa é uma dificuldade a mais para uma abordagem automatizada como a que você está utilizando.

Eu topo contribuir com o projeto. Sim, vamos utilizar mensagens particulares aqui do fórum para marcar uma conversa.

herrmann · Novembro 29, 2019, 2:02pm

Criei um tutorial sobre como usar Python, Pandas e Frictionless Data para consultar a lista dos catálogos de dados abertos governamentais no Brasil. Essa é a mesma lista de “outras iniciativas” que está no Portal Brasileiro de Dados Abertos.

O tutorial, que é bem simples, está disponível aqui:

github.com

dadosgovbr/catalogos-dados-brasil/blob/master/scripts/uso/como-usar-com-o-pandas.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Como usar com o Pandas"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Os catálogos de dados abertos podem ser consultados facilmente com a ferramenta\n",
    "Pandas, com ou sem Jupyter Notebook.\n",
    "\n",
    "Para maiores informações, veja o repositório\n",
    "[tableschema-pandas-py](https://github.com/frictionlessdata/tableschema-pandas-py).\n",
    "Tutorial inspirado na\n",
    "[demonstração](https://github.com/okfn/okfn.github.com/blob/master/resources/using-data-packages-with-pandas.ipynb)\n",

This file has been truncated. show original