DEV Community: Matheus Valentim

Explorando o Censo Escolar com a Base dos Dados

Matheus Valentim — Fri, 04 Jun 2021 03:46:07 +0000

TL;DR

Nesse texto, vamos dissecar o novo conjunto de dados da Base dos Dados: o Censo Escolar. Primeiro, vamos introduzir as quatro diferentes tabelas da base, apresentando algumas de suas variáveis. Depois, vamos mostrar alguns pontos de contato interessantes com outras tabelas disponíveis em nosso datalake público e perguntas que podem surgir dessas interações.

O Censo - e suas dificuldades

O Censo Escolar é uma pesquisa anual, onde cada escola do país responde a diversas perguntas sobre a própria escola, sobre as turmas, os professores e os alunos que ali frequentam. O Censo tem microdados desde 1995 e em 2007 assumiu um novo formato digital. Há indícios de que a pesquisa ocorre desde a década de 30. Aqui na Base dos Dados, optamos por disponibilizar, inicialmente, valores desde 2009 até 2020. O período é o mais uniforme da pesquisa, e foi quando ela manteve o mesmo formato, o que facilita e corrobora com a compatibilização entre diferentes anos.

A disponibilização dos dados do Censo, assim como de outras bases de educação, vêm do Plano Inep Dados Abertos. Porém, utilizar as bases originais do Censo tem vários obstáculos:

-Você terá que baixar cada ano individualmente em um arquivo compactado, cada um com aproximadamente 10gb
-Cada base tem seu próprio conjunto de variáveis e você terá que consultar os vários dicionários, já que uma mesma variável recebe vários nomes diferentes ao longo do período.
-Os dicionários não são muito claros sobre a constância das variáveis: em muitos casos é necessário abrir a base para verificar a existência de uma dada variável.
-O período de 2009 até 2020 soma mais de 100gb se for aberto inteiro no seu computador.

Ao invés de enfrentar tudo isso, você pode usar nossa versão já limpa e harmonizada, baixando via BigQuery ou abrindo as tabelas direto no R ou no Python.

O Censo Escolar pela Base dos Dados

Com as suas 4 tabelas, o nosso dataset do Censo Escolar replica a arquitetura da base original, disponibilizando diferentes tabelas para diferentes níveis de agregação. Temos uma base a nível de escola, uma a nível de turma, e duas no nível individual: uma para docentes e outra para os alunos.

É importante ressaltar que todas as tabelas do dataset, além de terem identificação de suas observações, identificam sempre a escola a qual pertencem, sempre tendo a variável id_escola. Optamos por deixar essas variáveis para manter o paralelismo da base original e para que possíveis agregações e junções de tabelas fossem mais fáceis.

Além disso, cabe reforçar que não disponibilizamos todas as variáveis que aparecem no Censo. Selecionamos a maioria das variáveis, as que aparecem mais vezes. Pegamos as variáveis que aparecem 8 ou mais vezes ao longo dos 12 anos, além de outras variáveis que julgamos serem cruciais por serem identificadoras importantes. Isso significa que, se a variável só aparece em 2 anos, por exemplo, ela não foi incluída nas nossas tabelas.

A tabela `escola`

A tabela escola tem a granularidade de cada escola por cada ano. A identificação básica de cada unidade é feita pelas variáveis id_escola e ano.

Na tabela, temos três grandes grupos de variáveis: variáveis com características gerais da escola, variáveis que qualificam a infraestrutura de cada instituição e variáveis que identificam quais tipos de aulas ocorrem.

Entre as características gerais, temos a rede a qual a escola está vinculada, o tipo de localização da escola, a dependência administrativa mantida com o poder público, a instituição mantenedora da escola e o seu local de funcionamento.

Nas variáveis de infraestrutura, temos uma ampla caracterização do acesso de cada instituição a serviços básicos, como água, energia e coleta/tratamento de lixo e esgoto. A infraestrutura de ensino também é avaliada: temos variáveis que medem a quantidade de equipamentos, desde equipamentos de som ou DVD até computadores e conexão com a internet, além das variáveis que informam o número de salas, de banheiros, de quadras, de laboratórios, áreas verdes e até de berçários.

Por fim, nas variáveis que identificam o ensino, temos em sua maioria variáveis binárias que identificam se a escola tem aulas para ensino regular, para EJA, em formato EaD, entre outras.

Com uma única entrada no R usando a biblioteca basedosdados, podemos descobrir, por exemplo, quais escolas não têm água potável em Minas Gerais no ano de 2020:

basedosdados::read_sql('SELECT ano,id_escola,agua_potavel 
FROM `basedosdados-dev.br_inep_censo_escolar.escola` 
WHERE agua_potavel = 0 and ano = 2020 and sigla_uf = "MG"')

Ou quais escolas funcionavam em unidades prisionais em 2009:

basedosdados::read_sql('SELECT id_escola,ano,local_func_unid_prisional 
FROM `basedosdados-dev.br_inep_censo_escolar.escola` 
WHERE ano = 2009 and local_func_unid_prisional = 1')

A tabela `turma`

A tabela turma tem a granularidade de cada turma por cada ano, isto é, cada observação é identificada por seu id_turmae pelo seu ano.

Na tabela, encontramos principalmente variáveis relacionadas a quais dias a turma tem aulas e de quais disciplinas são essas aulas. Em cada um dos casos, tem-se variáveis binárias identificando cada dia da semana e cada matéria.

Temos também variáveis que identificam atividades extracurriculares e quando elas são feitas por cada turma, além das já mencionadas identificações da escola a qual a turma está inserida.

Se quisermos abrir as turmas de 2010 para o estado da Bahia por exemplo, no Python:

import basedosdados as bd 
bd.read_sql(query = " SELECT * FROM `basedosdados.br_inep_censo_escolar.turma` 
WHERE ano = 2010 and sigla_uf = BA ", 
billing_project_id = "bd_projeto")

A tabela `docente`

A tabela docente tem a granularidade a nível dos profissionais escolares em sala de aula: professores, auxiliares, tradutores/intérpretes entre outros que atuam pedagogicamente na escola. Cada linha da tabela corresponde a um profissional, por cada ano. Cada um desses profissionais é identificado com um id_docente.

Na tabela temos as mais diversas características de cada docente, representadas por mais de 80 variáveis. Tem-se características pessoais de cada docente, como sua raça/cor, seu sexo, sua idade, sua nacionalidade e até o município de nascimento e o município onde o docente reside. Também temos variáveis que identificam a formação do docente, desde as disciplinas pelo qual ele é responsável, até a sua formação específica como professor.

Se quisermos só os docentes pretos da cidade de Rio Branco por exemplo, poderíamos rodar em Python:

import basedosdados as bd 
bd.read_sql(query = "SELECT * FROM `basedosdados.br_inep_censo_escolar.docente`
WHERE id_municipio = 1200401 and raca_cor = 2", billing_project_id = "bd_projeto")

A tabela `matricula`

Sem dúvida uma das maiores tabelas de todo nosso datalake, a tabela matricula identifica cada aluno brasileiro através da id_aluno. As observações estão no nível de cada aluno e de cada ano.

Entre as variáveis, temos as que caracterizam dados pessoais de cada aluno, paralelo ao feito com cada docente: temos sexo, cor_raca, id_municipio_nascimento, id_municipio_endereco, que, assim como na tabela de docentes, identificam sexo, cor/raça e o município onde nasceu e onde reside o aluno. Temos também variáveis que caracterizam deficiências dos alunos, físicas e intelectuais.

Para além desses casos, temos também um conjunto de dados que identificam relações do aluno com a escola: variáveis que identificam como os alunos se deslocam até a escola e variáveis que identificam como os alunos ingressaram na instituição.

A tabela matricula, especificamente, é muito grande (chega a mais de 90gb), por isso não recomendamos tentar baixá-la ou utilizá-la inteira: a tabela é particionada por ano e por uf de maneira que, ao filtrar por essas variáveis, o resultado é obtido mais rápido e o gasto é bem menor.

Como exemplo, podemos recortá-la para pegar somente os estudantes que vão à escola de transporte público em 2019, no estado de Roraima. No R ficaria assim:

basedosdados::read_sql("SELECT * FROM `basedosdados.br_inep_censo_escolar.matricula
WHERE sigla_uf = RR and transporte_publico = 1 
and ano = 2019")

Pontos de contato com outras bases

O censo escolar por si só já disponibiliza uma grande variedade de variáveis. Caso você queira obter ainda mais, com a BD+ é fácil: como as bases têm os mesmos nomes de variável, podemos rapidamente juntar diferentes informações. A seguir separamos algumas bases já disponíveis na BD+ que podem complementar bem as tabelas do Censo Escolar:

Os indicadores escolares do INEP: O dataset br_inep_indicadores_educacionais apresenta uma série de medições sobre a qualidade de ensino, em diferentes níveis de agregação. Usando a tabela escola como ponte, podemos juntar média de alunos por turma da escola (proveniente dessa tabela) com número de computadores da escola (vindo do Censo) e construir um mais amplo cenário socioeconômico da escola.

As notas do IDEB: O dataset br_inep_idebnos disponibiliza tabelas de diferentes que identificam as notas dos alunos em avaliações da qualidade do ensino (as provas do SAEB), as taxas de rendimento (aprovação, reprovação, abandono) e o desempenho no IDEB. Junto com as tabelas do Censo, pode-se avaliar, por exemplo, como escolas com mais professores com mestrado vão nessas provas em relação a escolas com professores que não tem pós graduação.

Diferentes tabelas da SEDUC: As tabelas da SEDUC disponibilizam informações sobre o nível educacional e socioeconômico das escolas estaduais de São Paulo. Com elas somadas ao censo, pode se avaliar por exemplo se escolas com melhor infraestrutura tem maior evasão no ensino médio.

As tabelas do Censo também tem identificação do município de cada uma das escolas, das turmas, dos docentes e dos alunos, permitindo vinculá-las com quase todas as tabelas a nível de município disponível no nosso datalake.

Chegamos ao fim da nossa breve apresentação! Os dados da mais importante pesquisa estatística educacional brasileira, o Censo Escolar (e todas suas nuances) agora fazem parte da Base dos Dados!

Nosso projeto já te ajudou de alguma forma? Saiba como nos ajudar:
-Apoie o projeto
-Seja um(a) colaborador(a) de dados na BD
-Colabore com nossos pacotes
-Compartilhe nas redes sociais!

Texto produzido por Matheus da equipe de Dados, com enorme apoio do pesquisador Adriano Senkevics, um dos especialistas em educação da nossa comunidade 💚

Como usar a biblioteca basedosdados no R - capítulo 1

Matheus Valentim — Wed, 12 May 2021 17:56:00 +0000

TL;DR

Neste texto vamos explicar como usar a biblioteca basedosdados no R e como exemplo iremos explorar a relação entre cobertura da coleta e tratamento de esgoto, e incidência de doenças causadas pela falta de saneamento básico. A biblioteca permite acessar, baixar e carregar centenas de bases do nosso datalake público direto na sua máquina. Serão apresentadas as funções presentes do pacote e como utilizá-las para realizar análises.

Como acessar nosso datalake público (BD+)

Organizamos neste datalake as principais bases públicas já tratadas e compatibilizadas, prontas para análise. O datalake é mantido no ambiente da Google (BigQuery) e o acesso às bases é gratuito, com um limite mensal de 1TB - acredite, nem a gente chega a tanto.

O pacote basedosdados te permite acessar esse banco através do R de um jeito rápido e fácil. Para isso, é necessário somente que você possua um projeto no Google Cloud, o que é gratuito. Veja aqui os 5 passos para criar seu projeto. Caso não tenha o projeto, ao utilizar a biblioteca pela primeira vez, esse mesmo passo a passo para criação é printado no seu console.

Conhecendo a biblioteca `basedosdados`

Como qualquer outra biblioteca no R, você deve instalá-la e carregar no seu ambiente:

# instalando a biblioteca
install.packages('basedosdados')

# carregando a biblioteca na sessão
library(basedosdados)

A biblioteca contém duas funções principais: read_sql() e a download(), descritas abaixo.

Função `download()`

A donwload() te permite baixar bases direto do nosso repositório em sua máquina, como um arquivo .CSV. Seus argumentos são:

query: query em SQL com qual tabela se quer baixar, com quais colunas e com qual agregação
path: um caminho para onde salvar o arquivo .csv. Um truque importante é usar projetos do R. Com eles, você não precisa especificar todo o caminho onde quer salvar as bases e o código pode ser mais facilmente reutilizado por outros usuários. Ao longo do texto vamos usar o caminho "/bases" como sendo uma pasta em um dado projeto R. Note que depois de "/bases" acrescentamos o nome do arquivo e o formato .csv.

Caso você queira baixar o Atlas Esgotos da ANA, base que vamos usar nas aplicações, rodaria:

download(query = 'SELECT * FROM `basedosdados.br_ana_atlas_esgotos.municipios` ', path = '/bases/base_ana.csv')

Função `read_sql()`

A read_sql() usa uma API para acessar o datalake e abrir uma base em formato tibble na sua sessão de R. O R se encarrega de entrar na nuvem, escolher a tabela e rodar a query para acessá-la, conforme os parâmetros passados na função:

query (string) : é a consulta que será feita ao banco em SQL. Aqui você pode especificar filtros, agrupamentos, e outras transformações usando SQL. Veja mais sobre a sintaxe aqui.
billing-project-id: é o identificador do seu projeto do Google. Ele é necessário para que o Google saiba quem está acessando a nuvem, e contabilizar o tamanho da requisição que você está fazendo. Não precisa ser especificado caso a set_billing_id seja usada.

Funções `set_billing_id()` e `get_billing_id()`

A set_billing_id() guarda o seu billing-project-id usado na função read_sql(). Em outras palavras, você pode definir uma única vez na sessão o seu identificador de projeto do Google, e ele não precisa mais ser um argumento para acessar tabelas. Para os mais experientes, um outro truque possível é guardar o seu id em algum objeto de um arquivo .env e depois usar a função Sys.getenv(objeto) para acessá-lo. Um arquivo .env pode ser gerado com a biblioteca dotenv.

A get_billing_id() printa o valor guardado em set_billing_id. Essa função não é diretamente usada: a função read_sql() automaticamente pega o identificador definido através da get_billing_id().

Dito isso, uma vez que definimos nosso billing-project-id:

set_billing_id("meu-projeto-3058")

Não precisamos mais usar a função read_sql() com dois argumentos:

read_sql(query = 'SELECT * FROM `basedosdados.br_ana_atlas_esgotos.municipios` ' ,
billing_project_id = "meu-projetoid-3058")

Podemos usá-la sem o segundo argumento (que é o que será feito ao longo do texto):

read_sql(query = 'SELECT * FROM `basedosdados.br_ana_atlas_esgotos.municipios` ')

Aplicações

Antes: Como descobrir os nomes de tabelas

Para exemplificar o uso da biblioteca, vamos estudar duas variáveis de bases diferentes que acreditamos estar correlacionadas: investimento em coleta de esgoto e mortes por doenças que se propagam na falta de saneamento básico.

Para começar essa análise, iremos acessar os dados do Atlas Esgotos da Agência Nacional das Águas. Ao acessar o link do conjunto de dados no nosso site (acima), você verá listado as "Tabelas disponíveis na BD+" - isso indica quais tabelas estão disponíveis no banco.

Neste caso temos somente a tabela municipios. Ao clicar na mesma, você irá para uma página que mostra como acessar essa tabela no próprio banco (via editor do BigQuery), em Python e em R (figura abaixo).

No código, vem descrito já o nome do conjunto e da tabela no banco - neste caso, basedodados é o banco, br_ana_atlas_esgotos o conjunto e municipios a tabela. Você pode copiar este código direto para o RStudio.

Diferentes maneiras de consultar uma tabela no R

Utilizando a função read_sql(), iremos carregar os dados do Atlas Esgostos da ANA no R e salvar esse tibble em um objeto chamado base.

base <- basedosdados::read_sql(query = 'SELECT * FROM `basedosdados.br_ana_atlas_esgotos.municipios` ')

Caso você clique para ver a base, vai se deparar com algo assim:

O Atlas contém mais de 30 variáveis sobre a condição da coleta e do tratamento de esgoto para cada município brasileiro. Entre elas, temos, por exemplo, a porcentagem de habitantes do município sem acesso a esgoto tratado, o nome do prestador do serviço do saneamento e o investimento feito pelo município em coleta e em tratamento de esgoto.

A query usada contém um * para indicar que estamos selecionando todas as colunas da tabela. Caso quiséssemos baixar só duas colunas, como o identificador do municipio (id_municipio) e o índice de pessoas que não recebe atendimento de tratamento de esgoto (indice_sem_atend) bastaria rodar algo como:

base_cobertura <- basedosdados::read_sql(query = 
'SELECT id_municipio, indice_sem_atend 
FROM `basedosdados.br_ana_atlas_esgotos.municipios` ')

Outra maneira de selecionar uma "sub-base" é filtrando as observações por alguma característica: se estivermos interessados somente no saneamento básico da região norte, não faz sentido pegarmos todas as 5570 linhas da base original. Podemos rodar uma query adicionando o verbo WHERE e indicar que só queremos estados do Norte:

base_norte <- read_sql('SELECT * 
FROM `basedosdados.br_ana_atlas_esgotos.municipios` 
WHERE sigla_uf in ("AM","AP","RO","RR","AC", "PA") ')

Além dessas possibilidades de seleção, podemos agregar essas tabela para o nível de estado, ao invés do nível de município, utilizando um agrupamento por sigla_uf. Ao agregarmos, precisamos também agregar as colunas, somando ou tirando uma média, por exemplo. Nesse exemplo, vamos pegar uma média da cobertura de esgoto por UF. O código fica assim:

base_uf <- basedosdados::read_sql(query = 
'SELECT sigla_uf, AVG(indice_sem_atend) as sem_esgoto
FROM `basedosdados.br_ana_atlas_esgotos.municipios` 
GROUP BY sigla_uf ' )

Visualizando o acesso a tratamento nos estados

Para finalizar, vamos construir um gráfico com essa última base criada para visualizar quais estados tem maior e a menor média de acesso a tratamento de esgoto nos seus municipios:

base_uf%>%
  ggplot(aes(y = sem_esgoto, x = reorder(sigla_uf, -sem_esgoto))) + geom_col(fill = '#7cb342') +
  labs(x = "Estado", y = "Porcentagem média sem saneamento", 
       title = "População sem saneamento básico",
       subtitle = "Média da porcentagem da população municipal sem saneamento, por UF") + theme_classic()

Parabéns! Concluímos a nossa primeira aplicação da basedosdados! Com ela, descobrimos que o estado que tem, em média, o pior acesso a tratamento e coleta de esgoto nas suas cidades é Rondônia, e o estado que tem a melhor é São Paulo.

Para usar esta mesma base em um outro software, pode-se usar a função download() para baixá-la em CSV direto na sua máquina:

download(query = 
'SELECT sigla_uf, AVG(indice_sem_atend) as sem_esgoto
FROM `basedosdados.br_ana_atlas_esgotos.municipios` 
GROUP BY sigla_uf ', path = '/bases/base_ana_uf.csv')

Cruzando diferentes bases

Outra aplicação importante do pacote é a possibilidade de juntar diferentes bases sem ter que abrí-las individualmente.

Para exemplificar, vamos comparar os dados que obtemos de saneamento com o nível de mortalidade por doenças relacionadas à falta de saneamento. Para explorar mortalidade precisamos de número de óbitos, que estão na tabela do Sistema de Mortalidade do Ministério da Saúde (SIM), e da população, na tabela de população do IBGE. Ambas as tabelas estão disponíveis na BD+ nos links acima!

Para cruzar as tabelas vamos filtrar ambas para o ano de 2013, referente ao Atlas Esgotos (tabela anterior), pela coluna ano presente em todas as tabelas. Além disso, vamos também escolher somente a mortalidade de causa_basica referente a doenças diarréicas, relacionadas à falta de saneamento básico. Os códigos de referência da coluna causa_basica na tabela SIM podem ser consultados aqui. A query abaixo faz esses filtros e seleciona as colunas tanto da base de população e quanto de mortalidade:

base_mortalidade <- read_sql('
SELECT sim.id_municipio, sim.numero_obitos , pop.populacao 
FROM `basedosdados.br_ms_sim.municipio_causa` as sim
FULL JOIN `basedosdados.br_ibge_populacao.municipios` as pop ON sim.id_municipio = pop.id_municipio
WHERE sim.ano = 2013 and pop.ano = 2013 and sim.causa_basica in ("A00", "A01", "A02", "A03", "A04", "A05", "A06","A07", "A08", "A09")')%>%
  mutate(mortalidade = (numero_obitos/populacao)*10000)%>%
  select(id_municipio,mortalidade)

Vamos então juntar essa base com a tabela de cobertura de saneamento e ver as possíveis correlações. Para isso, podemos juntar as bases abertas no R, a base_cobertura e a base_mortalidade, ou podemos rodar uma nova QUERY:

base_final <- read_sql(
'SELECT  sim.id_municipio, sim.numero_obitos , pop.populacao, ana.indice_sem_atend
FROM `basedosdados.br_ms_sim.municipio_causa` as sim
FULL JOIN `basedosdados.br_ibge_populacao.municipios` as pop ON sim.id_municipio = pop.id_municipio
FULL JOIN `basedosdados.br_ana_atlas_esgotos.municipios` as
ana ON sim.id_municipio = ana.id_municipio 
WHERE sim.ano = 2013 and pop.ano = 2013 and sim.causa_basica in ("A00", "A01", "A02", "A03", "A04", "A05", "A06","A07", "A08", "A09")')

Com a base em mãos, criamos um gráfico que relaciona a mortalidade por doenças diarreicas e a cobertura de saneamento básico:

base_final%>%
  mutate(mortalidade = (numero_obitos/populacao)*10000)%>%
  ggplot(aes(y = mortalidade, x =indice_sem_atend)) + geom_point(color = '#7cb342') +
  labs(x = "Porcentagem sem saneamento", y = "Mortalidade", 
       title = "Saneamento x Mortalidade",
       subtitle = "Os municípios que tem pior cobertura também tem mais mortes?") + theme_classic()

E com isso descobrimos que aparentemente não há uma forte correlação entre cobertura de saneamento e mortalidade por doenças quando analisamos todos municípios brasileiros que tiveram mortes por diarreia... Mas, conseguimos facilmente juntar 3 bases de diferentes organizações numa única entrada!

Muito obrigado por ler até aqui!

Confira o notebook com a análise completa no nosso repositório:

basedosdados / analises

📊 Repositório de códigos simples e replicáveis das análises publicadas.

A Base dos Dados é uma ONG com intuito de disponibilizar dados tratados e limpos para qualquer um acessar de um jeito rápido e fácil. Apoie a nossa iniciativa 💚.

DEV Community: Matheus Valentim

Explorando o Censo Escolar com a Base dos Dados

TL;DR

O Censo - e suas dificuldades

O Censo Escolar pela Base dos Dados

A tabela escola

A tabela turma

A tabela docente

A tabela matricula

Pontos de contato com outras bases

Como usar a biblioteca basedosdados no R - capítulo 1

TL;DR

Como acessar nosso datalake público (BD+)

Conhecendo a biblioteca basedosdados

Função download()

Função read_sql()

Funções set_billing_id() e get_billing_id()

Aplicações

Antes: Como descobrir os nomes de tabelas

Diferentes maneiras de consultar uma tabela no R

Visualizando o acesso a tratamento nos estados

Cruzando diferentes bases

basedosdados / analises

📊 Repositório de códigos simples e replicáveis das análises publicadas.

A tabela `escola`

A tabela `turma`

A tabela `docente`

A tabela `matricula`

Conhecendo a biblioteca `basedosdados`

Função `download()`

Função `read_sql()`

Funções `set_billing_id()` e `get_billing_id()`