Mateus Monteiro Santos
Avaliação Multidimensional da Qualidade de Questões Matemáticas Geradas por Modelos de Linguagem de Pequena Escala: Uma Análise no Contexto da BNCC em Dispositivos Móveis de Baixo Recurso
Resumo
O ensino de matemática nos anos iniciais do ensino fundamental brasileiro apresenta desempenho persistentemente abaixo do esperado, agravado pela sobrecarga de professores com tempo limitado para produzir questões de prática alinhadas à Base Nacional Comum Curricular (BNCC). Sistemas de Inteligência Artificial na Educação (AIED) têm potencial para suprir essa demanda, mas concentram-se em contextos com infraestrutura tecnológica consolidada, incompatíveis com boa parte das escolas públicas brasileiras. Modelos de Linguagem de Pequena Escala (SLM), executáveis offline em smartphones, emergem como alternativa viável. Esta dissertação investiga a qualidade de questões matemáticas alinhadas a competências da BNCC, geradas por um SLM executado offline em smartphone, combinando avaliação humana especializada e avaliação automatizada, em dois estudos empíricos. O primeiro, um estudo piloto com 59 questões nas quatro operações aritméticas básicas, sem alinhamento curricular, avaliadas por uma pedagoga em quatro dimensões, estabeleceu a viabilidade do par geração-avaliação humana e identificou lacunas de alinhamento curricular e de método de avaliação único. O segundo estudo amplia o corpus para 160 questões alinhadas a seis competências da BNCC, avaliadas por uma pedagoga com formação em Educação Matemática e por um modelo de linguagem avaliador por meio da métrica G-Eval. Os resultados revelam qualidade predominantemente adequada em operações aritméticas fundamentais, como adição e subtração, e limitações mais expressivas em operações de maior abstração numérica, como divisão. A correlação entre avaliação humana e automatizada foi pequena, porém estatisticamente significativa, indicando que a avaliação automatizada pode apoiar a triagem de conteúdo em contextos de recursos limitados, sem substituir o julgamento pedagógico especializado. A ampliação do escopo curricular e a incorporação de métricas linguísticas de riqueza lexical e legibilidade constituem etapas ainda em execução para a consolidação da pesquisa.