Wagner Aladiah Pacheco de Almeida
Profundidade ou largura? O impacto da escolha arquitetural na confiabilidade de Small Language Models
Resumo
A implantação de Small Language Models (SLMs) em dispositivos de borda tornou a confiabilidade desses modelos tão relevante quanto seu desempenho. Entre as decisões centrais de projeto está a relação entre profundidade e largura, que polariza o espaço de SLMs em dois paradigmas: deep-thin (muitas camadas e dimensão oculta reduzida) e wide-shallow (poucas camadas e maior dimensão oculta). Embora essa escolha tenha sido amplamente investigada sob a ótica do desempenho em tarefas benignas, seu impacto na trustworthiness permanece inexplorado, e nenhum estudo controla os fatores que confundem essa comparação de modo a aproximá-la de um contraste arquitetural. Esta proposta de qualificação descreve um estudo sistemático que maximiza esse controle — emparelhando modelos por faixa de parâmetros e padronizando a avaliação —, organizado pelo framework Goal-Question-Metric (GQM). Modelos open-weightsão emparelhados por faixa de parâmetros em três tiers (∼125M, ∼350M e ∼1B) e avaliados de forma padronizada via lm-evaluation-harness em cinco dimensões de trustworthiness — robustez adversarial, robustez out-of-distribution, toxicidade, fairness e resistência a jailbreak — sobre os benchmarks DecodingTrust e SORRY-Bench. A análise estatística adota comparações pareadas (teste de Wilcoxon signed-rank, intervalos de confiança por bootstrap BCa, correção de Holm-Bonferroni e tamanho de efeito δ de Cliff). Como contribuições, propõem-se duas métricas transversais: o Depth-to-Width Robustness Ratio (DWRR), que quantifica a vantagem relativa de cada arquitetura por dimensão, e o Robustness-Performance Gap (RPG), que mede o descolamento entre desempenho benigno e trustworthiness. São apresentados resultados parciais do estudo em andamento.