Dados relacionados à base do CNPJ liberados pela Receita Federal do Brasil

Que projeto incrível! Parabéns!

Bom dia.

As bases de receita não estão mais disponiveis nesse link, alguém consegue indicar o link atualizado?

Ol√°, Leonardo, seja bem vindo!

Parece que mudaram de novo o endereço. Atualizei a primeira postagem do tópico com o link atual.

Talvez tenha a ver com a recente reestrutura√ß√£o do portal de dados abertos que quebrou todos os links. Como de costume em reformula√ß√Ķes de portais de governo, n√£o colocaram nenhum redirecionamento a partir dos links antigos e n√£o se importaram em deixar os links quebrados.

O novo portal possibilita comentários do cidadão em cada dataset, o que é algo bom. Lá tem muita gente reclamando de arquivos corrompidos. O servidor da Receita nunca foi bom, pelo contrário, sempre foi muito lento para o volume de acesso, então não sei se é porque as pessoas não estão conseguindo completar os downloads, ou se é porque os arquivos estão corrompidos mesmo.

Me pergunto como alguns sites como o casadosdados conseguem ter dados mais atualizados do que os disponibilizados pela receita?

Por ex, os √ļltimos da Receita s√£o de 27/12/22. Aqui o site j√° tem dados de 05/01/23: https://casadosdados.com.br/empresas/data-de-abertura/2023-01-05

Provavelmente pela API paga oferecida pelo Serpro:

https://apicenter.estaleiro.serpro.gov.br/documentacao/consulta-cnpj/

O que volta √†quela discuss√£o da (falta de) √©tica em oferecer dados mais atualizados para quem paga. Como pretende o Projeto de Lei n.¬ļ 2.224/2021, mas que infelizmente na pr√°tica j√° acontece.

1 curtida

Os valores de consulta pela SERPRO me pareceram bem salgados. Pra um site que captura mais de 10.000 CNPJs por dia ficaria inviável. Eu vi que sendo um órgão SISP você também tem acesso aos dados, talvez seja isso. Ou talvez eles tenham acesso a um órgão desse.

https://www.gov.br/conecta/catalogo/apis/consulta-cnpj
https://www.gov.br/conecta/catalogo/apis/consulta-cnpj/swagger_cnpj.json/swagger_view

Se fosse isso, certamente seria uma irregularidade. Al√©m do mais, os √≥rg√£os p√ļblicos tamb√©m t√™m que pagar os pre√ßos car√≠ssimos do Serpro.

Provavelmente seria mais viável um grupo de empresas formar um pool e compartilhar entre si os dados e os custos de acesso. Mas também não acredito que seja o caso.

Realmente fica aberta a pergunta de como eles obtêm os dados atualizados.

Ol√°,

Primeira postagem aqui no fórum, procurei em vários lugares e não consegui encontrar.

Estou fazendo uma an√°lise de mercado com base em dados do IBGE, Receita Federal e outros e gostaria de saber se existe uma forma mais f√°cil de conseguir todos os CNPJs ativos de um munic√≠pio apenas. Vi apenas aquela tabela gigante da Receita, por√©m n√£o consigo trabalhar com ela pelo tamanho. Haveria alguma forma de filtrar primeiro os dados de um munic√≠pio para baixar uma tabela com as informa√ß√Ķes dos CNPJs como no SIDRA do IBGE?

Obrigado!

Ol√°, @victor_schote, bem vindo.

Movi a sua mensagem para o t√≥pico que j√° existia sobre o assunto, para que as informa√ß√Ķes fiquem mais organizadas e f√°ceis para todos acharem.

Você já tentou algumas das fontes alternativas de dados que estão descritas aqui neste tópico? Acabei de dar uma olhada rápida, vi que o Minha Receita não disponibiliza filtros. Nem no BrasilAPI, que aparentemente usa o código do Minha Receita. Já o Brasil.io possui filtros por UF, mas parece que não por município. Na Base dos Dados eu não olhei, mas pode ser que seja possível filtrar por município lá.

Em primeiro lugar, muito obrigado pela recepção, @herrmann! Primeira vez que comentei, mas visito essa comunidade há alguns meses.

Acabei passando batido, mas, na Casa dos Dados, √© poss√≠vel conseguir o n√ļmero de empresas por munic√≠pio, al√©m de capital social, CNAE e n√ļmero de filiais. Ponto para a Casa dos Dados!

Sinto falta no dados.gov.br de op√ß√Ķes de filtro para pegar apenas determinadas informa√ß√Ķes, op√ß√Ķes de desagrega√ß√£o de dados ou alguma possibilidade de recombinar dados antes de baixar. O SIDRA do IBGE tem algumas dessas op√ß√Ķes e √© muito bom de trabalhar apesar das importa√ß√Ķes gerarem algum trabalho para normatizar os dados antes de usar ferramentas de intelig√™ncia de dados.

Qualquer novidade na jornada, compartilho por aqui!

Vi que essa Casa dos Dados ainda não estava mencionada neste tópico. Ela oferece API e/ou download de dados?

Aproveitando, vi que a BrasilAPI também não estava presente na postagem inicial e a editei para incluir.

Pessoal preciso de uma ajuda, estou trabalhando na base da RFB de CNPJs e S√≥cios e estou tentando conecta-la no power bi pela conex√£o OBDC, meu banco de dados eu abro pelo DB Browser Sqlite do @rictom (GitHub - rictom/cnpj-sqlite: Script em python para carregar os arquivos de cnpj com dados p√ļblicos da Receita Federal para o formato sqlite).

Quando eu faço a conexão inicialmente o power bi reconhece as tabelas, porém qnd vou carregar aparece um erro dizendo o seguinte:
‚ÄúTentativa de leitura ou grava√ß√£o em mem√≥ria protegida. Normalmente isto √© uma indica√ß√£o de que outra mem√≥ria est√° danificada.‚ÄĚ

Isso aparece nas tabelas que cont√©m in√ļmeras linhas, nas tabelas menores o powerbi carrega sem problemas‚Ķ

Acredito que eu não tenha memória suficiente para carregar os dados no Power BI, será que alguém poderia me ajudar em como poderia a contornar esta situação? Meu objetivo final é acessar a base pelo Power BI contemplando todos os dados disponibilizados pela base…

Quanto ao PowerBI prefiro não comentar, já que não tenho familiaridade com a ferramenta. Talvez alguém aqui que já tenha usado possa te ajudar.

Mas com certeza você não conseguirá carregar todos os dados na memória de uma vez. Como já foi comentado aqui no tópico, os arquivos têm mais de 85 GB. Então para usar qualquer ferramenta que processe os dados em memória será necessário fazer algum recorte nos dados que reduza o tamanho de forma a viabilizar a carga.