Matheus Levi Rodrigues Aidano
Intensidade da Expressão Facial como Parâmetro de Geração no Nível da Sequência em Modelos de Difusão
Resumo
Modelos de difusão podem gerar faces fotorrealistas a partir de texto, mas seu controle sobre a intensidade das expressões ainda é limitado: prompts textuais normalmente especificam estados categóricos, como “sorrindo” ou “não sorrindo”, em vez de um nível contínuo e graduado de expressão. Os sistemas mais diretamente relacionados a esse problema condicionam a geração a intensidades contínuas de unidades de ação. No entanto, eles geram cada nível de intensidade como uma imagem estática independente, não impõem nem avaliam a consistência da identidade entre os diferentes níveis e avaliam o controle de intensidade apenas qualitativamente. Este trabalho reformula a intensidade da expressão facial como um parâmetro de geração em nível de sequência. Dado um prompt textual e uma trajetória de intensidade definida quadro a quadro, um backbone Stable Diffusion 1.5 congelado, aumentado com um módulo de movimento AnimateDiff, gera um clipe temporalmente coerente cuja intensidade de expressão acompanha a trajetória comandada. Apenas um codificador leve de expressão e os pesos de atenção que integram sua saída à atenção temporal do backbone são treinados; os demais parâmetros do backbone permanecem congelados. Resultados preliminares em um único eixo de expressão—a unidade de ação AU12, correspondente ao levantamento dos cantos dos lábios—mostram que a intensidade detectada acompanha a trajetória comandada com uma correlação de Pearson de r = 0.77 em 120 clipes. Esse resultado é corroborado por um detector independente que não foi utilizado para gerar os rótulos de treinamento. A identidade também é melhor preservada nos clipes gerados do que entre imagens estáticas geradas de forma independente, com uma similaridade mínima entre quadros adjacentes de 0.88, contra 0.76. Em uma comparação direta com o trabalho anterior mais próximo, ambos os métodos apresentam desempenho semelhante no acompanhamento da trajetória, enquanto o método anterior alcança melhor calibração absoluta. O controle obtido neste trabalho é, portanto, relativo à trajetória comandada, e não absoluto, uma limitação compatível com a estrutura de início-ao-ápice dos dados de treinamento. A principal contribuição é, assim, uma formulação nativa de sequência para o controle da intensidade de expressões, juntamente com um protocolo de avaliação que analisa separadamente o acompanhamento da trajetória, a calibração absoluta e a preservação da identidade entre quadros, evitando simultaneamente a circularidade entre rótulos e avaliação.