Projetos com dados abertos em git público

🔍 Onde encontrar
, , , ,
#1

Projetos interessantes com a tag “dados abertos” localizados em git público (Github, GitLab e afins). Essa lista não é exaustiva, então sugestões e pedidos de inclusão de projetos são muito bem vindos!

Pra facilitar a navegação na lista, estou gradativamente organizando os projetos por temas. Em razão disso, a numeração original ficou prejudicada. Aceito sugestões.

a) Câmara dos Deputados

  1. Repositório do serviço de Dados Abertos da Câmara

  2. Aplicação Vue para consumo dos dados abertos do congresso nacional brasileiro.

  3. API GraphQL com os dados da câmara de deputados do Brasil

  4. R tools for Brazilian Chamber of Deputies (Camara dos Deputados) data

  5. Artificial Intelligence for social control of public administration

  6. App para acompanhar os gastos dos deputados federais cearenses

  7. Cliente para consumir os dados abertos disponibilizados pela Câmara dos Deputados.

  8. facilitar os estudos dos dados disponíveis pela API dados abertos da câmara dos deputados federais.

  9. Ferramenta do Estadão que monitora o governismo na Câmara dos Deputados

  10. Repositório do Laboratório Hacker da Câmara dos Deputados

  11. O @elasnocongresso é um robô criado pela @revistaazmina para acompanhar a tramitação de proposições que tratam dos direitos das mulheres no Congresso Nacional

  12. Wrapper para a API da Câmara dos Deputados do Brasil || A wrapper for Brazil’s House of Representatives API

b) Cadastro Nacional de Pessoas Jurídicas

  1. Leitor de dados públicos da Receita Federal do Brasil em COBOL

  2. Pacote que trata e organiza os dados do Cadastro Nacional da Pessoa Jurídica (CNPJ)

  3. Utilitário em Python para ler os dados públicos do CNPJ disponibilizados pela Receita Federal e carregá-los em arquivos csv ou sqlite para fácil consumo. Também permite consultas com visualização interativa ou exportação para formatos diversos.

  4. Busque por um CNPJ e tenha um retorno da base disponibilizada pela Receita Federal

  5. Dados sobre Instituições Religiosas registradas no Brasil

c) Eleições

  1. electionsBR - A set of functions to easily pull and clean Brazilian electoral data from the Brazilian Superior Electoral Court (TSE) website.

  2. Ilumina a Prestação de Contas do Tribunal Superior Eleitoral

  3. Financiamento de campanha da Odebrecht

  4. Código para criação de grafos utilizando dados de doações de campanha e despesas dos parlamentares, com posterior análise

d) Judiciário

  1. Coletores de dados sobre remunerações do sistema de justiça brasileiro

  2. Sistema para escalonamento e orquestração de execuções, visando a automatização de processos do DadosJusBR

  3. Scraper do CNC (Cadastro Nacional de Condenações) do CNJ

  4. O script coleta informações sobre os processos de improbidade administrativa administrativa e dos cidadãos inelegiveis

  5. Repositório com scrappers para vários tribunais

e) Saúde Pública

  1. An Interface for the Brazilian Public Healthcare Data Repository (DATASUS) for the R Language

  2. React Native app that displays information about health facilities in Brazil based on various filters.

  3. Dados sobre o Coronavírus no Brasil

  4. Git da Escola de Saúde Pública do Estado do Ceará

  5. PySUS - This package collects a set of utilities for handling with public databases published by Brazil’s DATASUS

f) Diários Oficiais

  1. DouFinder: Script para pesquisa/alerta de termos no Diário Oficial da União (DOU).

  2. Brazilian government gazettes, accessible to everyone.

g) Controle Público

  1. Dados Abertos de Feira

  2. Sistema de auditoria da OPS

  3. Só minha cidade que gasta dinheiro federal assim?

  4. Projeto de auditoria da Alesp

h) Portais de Transparência

  1. Levantamento de portais estaduais e municipais de transparência e dados abertos, bem como os portais institucionais, obtido a partir de diversas fontes públicas de dados.

  2. O robô que monitora o acesso aos portais de transparência pública governamentais

i) Ainda não catalogados

  1. Consolidação e filtragem dos arquivos disponibilizados pela Procuradoria Geral da Fazenda Nacional através da Lei de Acesso à Informação

  2. Pacote para automatização de coletas no portal E-Sic, você pode obter os dados sobre as perguntas, respostas e até mesmo baixar os arquivos anexados.

  3. Mapeamento de iniciativas (e catálogos) de dados abertos governamentais no Brasil

  4. Código de Roteamento Postal

  5. Veículo Colaborativo sobre Transparência e Open Data no Brasil.

  6. Extração de dados com Requests para listar empresas do CNEP - Cadastro Nacional de Empresas Punidas

  7. Extração de dados com Selenium + BeautifulSoup para listar pagamentos da Prefeitura do Rio de Janeiro

  8. Extração de dados com Requests para listar pagamentos da FUNDATEC

  9. Extração de dados com Requests para listar Compras e Licitações da Cidade de São Paulo

  10. Extração de dados com Requests para listar pagamentos da SPTRANS

  11. Extração de dados com Requests para listar brasileiros do Bolsa Família

  12. Extração de dados com Requests para listar pagamentos da CETSP

  13. Scripts para acesso de APIs de interesse público

  14. ipeadatapy is a data and metadata extraction package made in Python using Ipeadata database official API.

  15. Code to clean the RAIS data set (Brazilian matched employer-employee data, 1985-2018)

  16. Análises e tutoriais das bases de dados abertos da Secretaria Municipal de Educação em formato aberto

  17. Projetos com dados abertos no GithubTutorial para acessar a API do Sistema de Orçamento e Finanças _SOF da cidade de São Paulo

  18. Tratamento e análise de dados abertos do Governo Federal do Brasil

  19. Brazilian states 2-letter codes (ISO 3166-2:BR), official abbreviations throughout the country’s history

  20. Brazilian city names and official codes, IBGE, LexML and others

  21. Scraper do Conselho Administrativo de Recursos Fiscais

  22. API de dados do Mapa das Organizações da Sociedade Civil, mantido pelo IPEA

j) Bônus: fontes e projetos internacionais

  1. Code.gov: Search for federal open source software projects and usable code

Observação 1: esta lista começou com projetos no Github, mas a boa sugestão do @ppkrauss chamou atenção para o fato que essa não é a única plataforma “git” existentes. Sugestões de outros lugares são também muito bem vindas.

Observação: 2: as categorias listadas acima não têm a pretensão de serem perfeitas. A ideia central é organizar os assuntos numa temática relativamente conexa para facilitar a busca.

6 Curtidas
#2

Muito interessante.

Adicionei as tags no github do meu Pacote do CNPJ também.

Pacote que trata e organiza os dados do Cadastro Nacional da Pessoa Jurídica (CNPJ)

1 Curtida
#3

Boa George!

Atualizei a lista com o teu projeto!

#4

Bom dia , @Bruno !!

Gostaria de mencionar dois repositórios que são bastante relacionados a dados abertos.

3 Curtidas
#5

Percebi que alguns projetos utilizam a tag dados-abertos (com hífen) e outros usam dadosabertos (sem hífem). Procurando por ambas as tags é possível encontrar mais resultados.

3 Curtidas
#6

Tem o Dados Abertos de Feira, uma iniciativa para libertar os dados e dar mais transparência a cidade de Feira de Santana (BA).

3 Curtidas
#7

@anapaula e @danielfireman, obrigado pelas indicações! Já adicionei as sugestões na lista!

@herrmann, é verdade. Alguns também “opendata” , “open-data” e “transparencia”. Vou procurar e ir acrescentando os projetos aqui aos poucos.

#8

Acrescentei as tags a alguns meus também:

2 Curtidas
#9

@fecampa, obrigado pelas indicações! Já coloquei na lista!

1 Curtida
#10

Mais dois links e pitacos:

  • Atualmente as pesistent URLs (PURLs)
    http://Datasets.OK.org.br/state-codes dos códigos de regiões e estados do Brasil
    e http://Datasets.OK.org.br/city-codes das cidades do Brasil
    estão sendo gentilmente redirecionados da Open Knowledge Brasil para o Github…

  • … Mas poderia ser para o GitLab ou qualquer outro fornecedor the “git hosting”. A essência são o mecanismo git e a marca OK-BR (seu domínio ), não a marca Github, hoje de propriedade da Microsoft.
    A noção de soberania não vale apenas para nações, vale para uma simples comunidade, a dona da sua cultura e seus produtos abertos. Não precisamos fazer propaganda de terceiros, muito menos ficar reféns deles — e usar nosso PURL ao invés de URL de terceiros, nos liberta!
    … Acho que esse exemplo já explica porque se justificaria mudar o título desta discussão para “Projetos com dados abertos em git público”, o que acham?

  • Muitos dos datasets brasileiros que mantemos podem ser melhor contextualizados e compatibilizados com os sumarizadores globais, do datahub.io/core (atualmente também usando Github)… Alguns elementos de padronização, como a expressão de metadados em padrão Frictionlessdata/data-packages, são consensualmente bons, outros, como o uso do site datahub.io sem integração (falta de padronização para fazer um simples SQL-Join) são consensualmente ruins, como já concluímos no passado com o pessoal mantenedor do Brasil.io.

  • Manter confiáveis e atualizados os datasets como estes do exemplo, para uso mais sério ou profissional, requer gente cuidando e assumindo certa responsabilidade. Para que isso funcione no longo prazo o ideal é trabalhar em parceria com iniciativas como Wikidata e/ou OpenStreetMap (OSM), que de fato já são parceiros e se integram.
    Tecnicamente é um desafio, quem quiser discutir/ajudar estamos buscando uma solução baseada em PostgreSQL e PostgREST para automatizar todo o processo.

Peter

2 Curtidas
#11

Excelentes sugestões de datasets e ponderações, Peter. Concordo com tudo!

@Bruno, o que acha de mudar o título?

1 Curtida
#12

São excelentes sugestões! Mudei o título e adicionei os dois links sugeridos.

#13

A lista foi parcialmente organizada para facilitar a leitura.

#14

Oi pessoal, tudo bom?

estou conversando com algumas pessoas sobre a possiblidade de criar um portal para indexar todos esse projetos, com algumas opções de filtro e uma pequena apresentação de cada um deles. Vocês acham que isso faz sentindo? Já me recomendaram conversar com o pessoal do Brasil.io em relação a isso.

1 Curtida
#15

Olá Guilherme! Tudo bem?

Olha, eu acho uma ideia excelente ! Talvez valha a pena conversar com o Brasil.io sobre isso, sim. O @turicas é o responsável pelo projeto lá.

Abraços!

#16

Você pensa em fazer algo parecido com o finado portal Civic Stack? Talvez até dê para reaproveitar o código, ele tem licença livre e está no Github:

Eu fiz uma tradução para português, na época, mas os argentinos nunca chegaram a aceitar o meu pull request.

2 Curtidas
#17
#18

Pessoal, para saber a viabilidade da solução que estamos pensando, criamos um formulário para coletar a experiência de algumas pessoas em relação ao desenvolvimento de projetos que utilizem dados públicos.

Se vocês poderem responder ao questionário, vão ajudar muito nessa etapa de prototipação.

O link para o form é: https://forms.gle/PSYmxdQbY9iDU88b9

Muito obrigado!

2 Curtidas