Instabilidade: Dados Transferência do Governo Federal para estados e municípios

1

Olá,

Precisaria de uma segunda opinião sobre os dados de transferência do governo federal, há alguém aqui que trabalha com esses dados para trocar mensagens?

O motivo é que nosso projeto Repasse (http://repasse.icmc.usp.br/) está sendo atualizado para analisar todas transferencias dos últimos anos. Ele já não estava sendo atualizado por motivos da troca do formato dos dados, mas em 2021 resolvemos atualizar para acompanhar as ações relacionadas a COVID e outras coisas.
O problema é que há 15 dias eu tomei um backup dos dados disponíveis no portal da transparência e atualizei nossa ferramenta para esse formato. No entanto, hoje ao baixar os arquivos novamente eu notei diversas inconsistências:

  1. Novas colunas foram adicionadas aos CSVs
  2. O número de linhas de transferências MUDARAM.

A maior preocupação agora é a estabilidade e confiablidade desses arquivos. Olhem abaixa muda o número total de linhas de transferências.

Eu também tenho o backup antigo, ainda na era Temer, de CSVs, naquela época (e antes) os arquivos eram modificados somente quando algum erro de entrada dos valores era encontrado. Ainda não tentei comparar dados daquela época com os atuais e o backup de 15 dias atrás.

Os links dos arquivos que tinha de 15 dias atrás e os atualizados agora estão aqui:

https://drive.google.com/drive/folders/1zFfiJt232ZDtnpcmXW5wwv1ZIEwD2VLa?usp=sharing

$ find . -name *csv -print0| wc -l --files0-from=-
106471 ./BACKUP/202008/202008_Transferencias.csv
98876 ./BACKUP/202009/202009_Transferencias.csv
87091 ./BACKUP/202006/202006_Transferencias.csv
57596 ./BACKUP/202002/202002_Transferencias.csv
92648 ./BACKUP/202005/202005_Transferencias.csv
140714 ./BACKUP/202004/202004_Transferencias.csv
125154 ./BACKUP/202012/202012_Transferencias.csv
153450 ./BACKUP/202011/202011_Transferencias.csv
110606 ./BACKUP/202007/202007_Transferencias.csv
128721 ./BACKUP/202010/202010_Transferencias.csv
169903 ./BACKUP/202003/202003_Transferencias.csv
62626 ./BACKUP/202001/202001_Transferencias.csv
153114 ./NOVO/202008/202008_Transferencias.csv
136578 ./NOVO/202009/202009_Transferencias.csv
118058 ./NOVO/202006/202006_Transferencias.csv
87428 ./NOVO/202002/202002_Transferencias.csv
123554 ./NOVO/202005/202005_Transferencias.csv
172673 ./NOVO/202004/202004_Transferencias.csv
225909 ./NOVO/202012/202012_Transferencias.csv
194641 ./NOVO/202011/202011_Transferencias.csv
144679 ./NOVO/202007/202007_Transferencias.csv
163752 ./NOVO/202010/202010_Transferencias.csv
211325 ./NOVO/202003/202003_Transferencias.csv
66377 ./NOVO/202001/202001_Transferencias.csv
76545 ./downloaded_backup/201401_Transferencias.csv
3208489 total
2

Olá, @jesuino . Interessante esse projeto!

Nunca usei esses dados do Portal da Transparência sobre transferências, então eu não saberia dizer nada de muito específico sobre eles. Mas sei que eles são uma fonte secundária, isto é, reproduzem os dados que vêm do Ministério da Economia. Vocês pensaram na possibilidade de usar a fonte primária de dados, que é a Plataforma Mais Brasil (antigo Siconv)?

http://plataformamaisbrasil.gov.br/download-de-dados

2 curtidas
3

Olá,

Muito obrigado pela resposta.

Para a fonte primária teríamos que fazer praticamente outro sistema, pois não encontrei os dados no formato de uma linha contendo todas informações.

Nosso maior problema é aparecer linhas e mais linhas, isso deixa turbulenta a análise dos dados. Quanto as colunas nós vamos adaptando, mas teríamos problemas só se sairem as dimensões dos dados que usamos (função, sub função, área, programa e favorecido.

Mas fizemos um plano de ação e vamos voltar nisso em umas semanas. Vou deixar documentado nosso plano aqui:

  • Subir um Repasse com os dados antes dessa última mudança (março);
  • Outro repasse com os que adquiri em abril
  • Finalmente mais um com os dados atuais.

Então criaremos algumas queries para comparar os resultados:

  • Soma de todas transferencia por mes e ano
  • Total transferencia por municipio e estado e ano
  • Total transferencia por Função/mês/ano

Com esse relatório iremos comparar os resultados executados nas três bases. Talvez incluiremos dados ainda mais antigos para comparação.

Se aparecer alguém que poderia esclarecer essas mudanças eu ficaria muito feliz. Estou hesitante em contatar o orgão diretamente por motivos diversos.

Obrigado!

4

Olá @herrmann

FInalmente tivemos o tempo de gerar relatórios sobre o que foi mudado e valores no geral não mudaram (exceto de meses recentes ao da coleta, como Dez/2020 - o que no geral é esperado), mas muitas transferências parecem ter sido condensadas ou transferidas de favorecido (invés de prefeitura, estado)

Postei no github diversos relatórios que geramos

Ainda procuro mais gente para validar nossas análises e também precisamos saber a motivação dessa mudança. Se tiver alguma atualização aviso por aqui.

Obrigado!

1 curtida