Projetos com dados abertos em git p√ļblico

Projetos interessantes com a tag ‚Äúdados abertos‚ÄĚ localizados em git p√ļblico (Github, GitLab e afins). Essa lista n√£o √© exaustiva, ent√£o sugest√Ķes e pedidos de inclus√£o de projetos s√£o muito bem vindos!

Pra facilitar a navega√ß√£o na lista, estou gradativamente organizando os projetos por temas. Em raz√£o disso, a numera√ß√£o original ficou prejudicada. Aceito sugest√Ķes.

a) C√Ęmara dos Deputados

  1. Reposit√≥rio do servi√ßo de Dados Abertos da C√Ęmara

  2. Aplicação Vue para consumo dos dados abertos do congresso nacional brasileiro.

  3. API GraphQL com os dados da c√Ęmara de deputados do Brasil

  4. R tools for Brazilian Chamber of Deputies (Camara dos Deputados) data

  5. Artificial Intelligence for social control of public administration

  6. App para acompanhar os gastos dos deputados federais cearenses

  7. Cliente para consumir os dados abertos disponibilizados pela C√Ęmara dos Deputados.

  8. facilitar os estudos dos dados dispon√≠veis pela API dados abertos da c√Ęmara dos deputados federais.

  9. Ferramenta do Estad√£o que monitora o governismo na C√Ęmara dos Deputados

  10. Reposit√≥rio do Laborat√≥rio Hacker da C√Ęmara dos Deputados

  11. O @elasnocongresso √© um rob√ī criado pela @revistaazmina para acompanhar a tramita√ß√£o de proposi√ß√Ķes que tratam dos direitos das mulheres no Congresso Nacional

  12. Wrapper para a API da C√Ęmara dos Deputados do Brasil || A wrapper for Brazil‚Äôs House of Representatives API

b) Cadastro Nacional de Pessoas Jurídicas

  1. Leitor de dados p√ļblicos da Receita Federal do Brasil em COBOL

  2. Pacote que trata e organiza os dados do Cadastro Nacional da Pessoa Jurídica (CNPJ)

  3. Utilit√°rio em Python para ler os dados p√ļblicos do CNPJ disponibilizados pela Receita Federal e carreg√°-los em arquivos csv ou sqlite para f√°cil consumo. Tamb√©m permite consultas com visualiza√ß√£o interativa ou exporta√ß√£o para formatos diversos.

  4. Busque por um CNPJ e tenha um retorno da base disponibilizada pela Receita Federal

  5. Dados sobre Institui√ß√Ķes Religiosas registradas no Brasil

c) Elei√ß√Ķes

  1. electionsBR - A set of functions to easily pull and clean Brazilian electoral data from the Brazilian Superior Electoral Court (TSE) website.

  2. Ilumina a Prestação de Contas do Tribunal Superior Eleitoral

  3. Financiamento de campanha da Odebrecht

  4. C√≥digo para cria√ß√£o de grafos utilizando dados de doa√ß√Ķes de campanha e despesas dos parlamentares, com posterior an√°lise

  5. Endereço de zonas eleitorais em 2018

  6. Dados dos Planos de Governo das Elei√ß√Ķes Municipais de 2020

d) Judici√°rio

  1. Coletores de dados sobre remunera√ß√Ķes do sistema de justi√ßa brasileiro

  2. Sistema para escalonamento e orquestra√ß√£o de execu√ß√Ķes, visando a automatiza√ß√£o de processos do DadosJusBR

  3. Scraper do CNC (Cadastro Nacional de Condena√ß√Ķes) do CNJ

  4. O script coleta informa√ß√Ķes sobre os processos de improbidade administrativa administrativa e dos cidad√£os inelegiveis

  5. Repositório com scrappers para vários tribunais

e) Sa√ļde P√ļblica

  1. An Interface for the Brazilian Public Healthcare Data Repository (DATASUS) for the R Language

  2. React Native app that displays information about health facilities in Brazil based on various filters.

  3. Dados sobre o Coronavírus no Brasil

  4. Git da Escola de Sa√ļde P√ļblica do Estado do Cear√°

  5. PySUS - This package collects a set of utilities for handling with public databases published by Brazil’s DATASUS

f) Di√°rios Oficiais

  1. DouFinder: Script para pesquisa/alerta de termos no Di√°rio Oficial da Uni√£o (DOU).

  2. Brazilian government gazettes, accessible to everyone.

  3. Gerador de DAGs no Airflow para fazer clipping do Di√°rio Oficial da Uni√£o.

g) Controle P√ļblico

  1. Dados Abertos de Feira

  2. Sistema de auditoria da OPS

  3. Só minha cidade que gasta dinheiro federal assim?

  4. Projeto de auditoria da Alesp

h) Portais de Transparência

  1. Levantamento de portais estaduais e municipais de transpar√™ncia e dados abertos, bem como os portais institucionais, obtido a partir de diversas fontes p√ļblicas de dados.

  2. O rob√ī que monitora o acesso aos portais de transpar√™ncia p√ļblica governamentais

  3. Repasse: Transferências monetárias do governo federal para municípios

i) Educação

  1. API Escolas (dados INEP)

j) Gits p√ļblicos de √≥rg√£os/entidades p√ļblicas

  1. Git do Portal Brasileiro de Dados Abertos

  2. Ministério da Economia

  3. Projeto de desenvolvimento do novo Portal de Serviços do Brasil

  4. Secretaria Especial de Cultura

  5. API de dados do Mapa das Organiza√ß√Ķes da Sociedade Civil, mantido pelo IPEA

k) B√īnus: fontes e projetos internacionais

  1. Code.gov: Search for federal open source software projects and usable code

  2. U.S. Customs and Border Protection

j) Dados censit√°rios

  1. Censo de 1872

k) Ainda n√£o catalogados

  1. Consolidação e filtragem dos arquivos disponibilizados pela Procuradoria Geral da Fazenda Nacional através da Lei de Acesso à Informação

  2. Pacote para automatização de coletas no portal E-Sic, você pode obter os dados sobre as perguntas, respostas e até mesmo baixar os arquivos anexados.

  3. Mapeamento de iniciativas (e cat√°logos) de dados abertos governamentais no Brasil

  4. Código de Roteamento Postal

  5. Veículo Colaborativo sobre Transparência e Open Data no Brasil.

  6. Extração de dados com Requests para listar empresas do CNEP - Cadastro Nacional de Empresas Punidas

  7. Extração de dados com Selenium + BeautifulSoup para listar pagamentos da Prefeitura do Rio de Janeiro

  8. Extração de dados com Requests para listar pagamentos da FUNDATEC

  9. Extra√ß√£o de dados com Requests para listar Compras e Licita√ß√Ķes da Cidade de S√£o Paulo

  10. Extração de dados com Requests para listar pagamentos da SPTRANS

  11. Extração de dados com Requests para listar brasileiros do Bolsa Família

  12. Extração de dados com Requests para listar pagamentos da CETSP

  13. Scripts para acesso de APIs de interesse p√ļblico

  14. ipeadatapy is a data and metadata extraction package made in Python using Ipeadata database official API.

  15. Code to clean the RAIS data set (Brazilian matched employer-employee data, 1985-2018)

  16. Análises e tutoriais das bases de dados abertos da Secretaria Municipal de Educação em formato aberto

  17. Projetos com dados abertos no GithubTutorial para acessar a API do Sistema de Orçamento e Finanças _SOF da cidade de São Paulo

  18. Tratamento e an√°lise de dados abertos do Governo Federal do Brasil

  19. Brazilian states 2-letter codes (ISO 3166-2:BR), official abbreviations throughout the country’s history

  20. Brazilian city names and official codes, IBGE, LexML and others

  21. Scraper do Conselho Administrativo de Recursos Fiscais

  22. GitHub - public-apis/public-apis: A collective list of free APIs

Observa√ß√£o 1: esta lista come√ßou com projetos no Github, mas a boa sugest√£o do @ppkrauss chamou aten√ß√£o para o fato que essa n√£o √© a √ļnica plataforma ‚Äúgit‚ÄĚ existentes. Sugest√Ķes de outros lugares s√£o tamb√©m muito bem vindas.

Observação: 2: as categorias listadas acima não têm a pretensão de serem perfeitas. A ideia central é organizar os assuntos numa temática relativamente conexa para facilitar a busca.

7 curtidas

Muito interessante.

Adicionei as tags no github do meu Pacote do CNPJ também.

Pacote que trata e organiza os dados do Cadastro Nacional da Pessoa Jurídica (CNPJ)

1 curtida

Boa George!

Atualizei a lista com o teu projeto!

Bom dia , @Bruno !!

Gostaria de mencionar dois repositórios que são bastante relacionados a dados abertos.

3 curtidas

Percebi que alguns projetos utilizam a tag dados-abertos (com hífen) e outros usam dadosabertos (sem hífem). Procurando por ambas as tags é possível encontrar mais resultados.

4 curtidas

Tem o Dados Abertos de Feira, uma iniciativa para libertar os dados e dar mais transparência a cidade de Feira de Santana (BA).

4 curtidas

@anapaula e @danielfireman, obrigado pelas indica√ß√Ķes! J√° adicionei as sugest√Ķes na lista!

@herrmann, √© verdade. Alguns tamb√©m ‚Äúopendata‚ÄĚ , ‚Äúopen-data‚ÄĚ e ‚Äútransparencia‚ÄĚ. Vou procurar e ir acrescentando os projetos aqui aos poucos.

Acrescentei as tags a alguns meus também:

2 curtidas

@fecampa, obrigado pelas indica√ß√Ķes! J√° coloquei na lista!

2 curtidas

Mais dois links e pitacos:

  • Atualmente as pesistent URLs (PURLs)
    http://Datasets.OK.org.br/state-codes dos c√≥digos de regi√Ķes e estados do Brasil
    e http://Datasets.OK.org.br/city-codes das cidades do Brasil
    estão sendo gentilmente redirecionados da Open Knowledge Brasil para o Github…

  • ‚Ķ Mas poderia ser para o GitLab ou qualquer outro fornecedor the ‚Äúgit hosting‚ÄĚ. A ess√™ncia s√£o o mecanismo git e a marca OK-BR (seu dom√≠nio ), n√£o a marca Github, hoje de propriedade da Microsoft.
    A no√ß√£o de soberania n√£o vale apenas para na√ß√Ķes, vale para uma simples comunidade, a dona da sua cultura e seus produtos abertos. N√£o precisamos fazer propaganda de terceiros, muito menos ficar ref√©ns deles ‚ÄĒ e usar nosso PURL ao inv√©s de URL de terceiros, nos liberta!
    ‚Ķ Acho que esse exemplo j√° explica porque se justificaria mudar o t√≠tulo desta discuss√£o para ‚ÄúProjetos¬†com dados abertos em git¬†p√ļblico‚ÄĚ, o que acham?

  • Muitos dos datasets brasileiros que mantemos podem ser melhor contextualizados e compatibilizados com os sumarizadores globais, do datahub.io/core (atualmente tamb√©m usando Github)‚Ķ Alguns elementos de padroniza√ß√£o, como a express√£o de metadados em padr√£o Frictionlessdata/data-packages, s√£o consensualmente bons, outros, como o uso do site datahub.io sem integra√ß√£o (falta de padroniza√ß√£o para fazer um simples SQL-Join) s√£o consensualmente ruins, como j√° conclu√≠mos no passado com o pessoal mantenedor do Brasil.io.

  • Manter confi√°veis e atualizados os datasets como estes do exemplo, para uso mais s√©rio ou profissional, requer gente cuidando e assumindo certa responsabilidade. Para que isso funcione no longo prazo o ideal √© trabalhar em parceria com iniciativas como Wikidata e/ou OpenStreetMap (OSM), que de fato j√° s√£o parceiros e se integram.
    Tecnicamente é um desafio, quem quiser discutir/ajudar estamos buscando uma solução baseada em PostgreSQL e PostgREST para automatizar todo o processo.

Peter

2 curtidas

Excelentes sugest√Ķes de datasets e pondera√ß√Ķes, Peter. Concordo com tudo!

@Bruno, o que acha de mudar o título?

1 curtida

S√£o excelentes sugest√Ķes! Mudei o t√≠tulo e adicionei os dois links sugeridos.

A lista foi parcialmente organizada para facilitar a leitura.

Oi pessoal, tudo bom?

estou conversando com algumas pessoas sobre a possiblidade de criar um portal para indexar todos esse projetos, com algumas op√ß√Ķes de filtro e uma pequena apresenta√ß√£o de cada um deles. Voc√™s acham que isso faz sentindo? J√° me recomendaram conversar com o pessoal do Brasil.io em rela√ß√£o a isso.

1 curtida

Ol√° Guilherme! Tudo bem?

Olha, eu acho uma ideia excelente ! Talvez valha a pena conversar com o Brasil.io sobre isso, sim. O @turicas é o responsável pelo projeto lá.

Abraços!

Você pensa em fazer algo parecido com o finado portal Civic Stack? Talvez até dê para reaproveitar o código, ele tem licença livre e está no Github:

Eu fiz uma tradução para português, na época, mas os argentinos nunca chegaram a aceitar o meu pull request.

2 curtidas

Pessoal, para saber a viabilidade da solu√ß√£o que estamos pensando, criamos um formul√°rio para coletar a experi√™ncia de algumas pessoas em rela√ß√£o ao desenvolvimento de projetos que utilizem dados p√ļblicos.

Se vocês poderem responder ao questionário, vão ajudar muito nessa etapa de prototipação.

O link para o form é: https://forms.gle/PSYmxdQbY9iDU88b9

Muito obrigado!

2 curtidas

@Bruno, sugiro acrescentar no tema c) Elei√ß√Ķes os seguintes reposit√≥rios:

1 curtida

Obrigado pelas indica√ß√Ķes, @herrmann! J√° atualizei a lista!

2 curtidas