Percepção de carga de trabalho no envio de feedback para dashboards e Learning Analytics : um experimento controlado com professores

Aluno: Ítalo Rodrigo da Silva Arruda Orientador: Prof. Dr. Diego Dermeval Medeiros da Cunha Matos

Percepc807a771o_de_Carga_de_Trabalho_no_Envio_de_Feedback_para_Dashboards_.pdf
Documento PDF (8.2MB)

„

U NIVERSIDADE F EDERAL DE A LAGOAS
I NSTITUTO DE C OMPUTAÇÃO
P ROGRAMA DE P ÓS -G RADUAÇÃO EM I NFORMÁTICA

ÍTALO RODRIGO DA SILVA ARRUDA

PERCEPÇÃO DE CARGA DE TRABALHO NO
ENVIO DE FEEDBACK PARA DASHBOARDS E
LEARNING ANALYTICS: UM EXPERIMENTO
CONTROLADO COM PROFESSORES.

M ACEIÓ , AL
N OVEMBRO - 2023

ÍTALO RODRIGO DA SILVA ARRUDA

PERCEPÇÃO DE CARGA DE TRABALHO NO
ENVIO DE FEEDBACK PARA DASHBOARDS E
LEARNING ANALYTICS: UM EXPERIMENTO
CONTROLADO COM PROFESSORES.

Dissertação apresentada como requisito
parcial para obtenção do grau de Mestre pelo
Programa de Pós-Graduação em Informática
do Instituto de Computação da Universidade
Federal de Alagoas.
Orientador: Prof. Dr. Diego Dermeval
Medeiros da Cunha Matos

M ACEIÓ , AL
N OVEMBRO - 2023

Catalogação na Fonte
Universidade Federal de Alagoas
Biblioteca Central
Divisão de Tratamento Técnico
Bibliotecário: Marcelino de Carvalho Freitas Neto – CRB-4 - 1767
A779p

Arruda, Ítalo Rodrigo da Silva.
Percepção de carga de trabalho no envio de feedback para
dashboards e Learning Analytics : um experimento controlado com
professores / Ítalo Rodrigo da Silva Arruda. – 2023.
127 f. : il.
Orientador: Diego Dermeval Medeiros da Cunha Matos.
Dissertação (mestrado em informática) - Universidade Federal de
Alagoas. Instituto de Computação. Maceió, 2023.
Bibliografia: f. 107-112.
Anexos: f. 113-127.
1. Teoria da carga de cognitiva. 2. NASA TLX. 3. Ambiente educacional.
4. Learning Analytics. I. Título.
CDU: 004.81

Dedico este trabalho à minha querida mãe,
cujo amor e apoio incondicional têm sido minha luz constante, e ao meu orientador, cuja
orientação atenciosa e estímulo contínuo inspiraram cada passo desta jornada.

Agradecimentos

Primeiramente, agradeço a Deus, pois, sem Sua bênção e vontade, nenhuma página desta
jornada teria sido escrita. Às âncoras da minha vida, meus pais Maria Aparecida da Silva
e Rivaldo José de Arruda, que não apenas investiram na minha educação, mas também me
ensinaram a beleza do aprendizado como uma ferramenta para superação e triunfo.
À minha noiva Jhennifer Priscila, cujo amor e apoio foram meu farol, mesmo distante.
Ela caminhou ao meu lado, a cada passo, com paciência inabalável e um amor que sempre
me fortaleceu.
Estendo minha gratidão à incrível comunidade do curso de Informática do IFAL Palmeira dos Índios. Eles não apenas me acolheram, mas também acreditam fervorosamente
em minha aspiração de alcançar o mestrado.
Ao meu orientador, Diego Dermeval, sou eternamente grato por sua confiança e por abraçar a minha jornada acadêmica com tamanha dedicação, mesmo diante de uma agenda tão
exigente. Estendo meu agradecimento a todos os docentes do curso, cuja paixão e empenho
em ensinar moldaram a base sólida de minha formação.
Por último, mas certamente não menos importante, meu coração se enche de gratidão
a todos que cruzaram meu caminho - colegas, professores, alunos e amigos. Vocês não
apenas acreditaram em meus sonhos, mas também me deram o suporte e a fé de que, juntos,
poderíamos transformá-los em realidade.

"A maior necessidade do mundo é a de homens — homens que se não comprem nem se
vendam; homens que no íntimo da alma sejam verdadeiros e honestos; homens que não
temam chamar o pecado pelo seu nome exato;
homens, cuja consciência seja tão fiel ao dever como a bússola o é ao pólo; homens que
permaneçam firmes pelo que é reto, ainda que
caiam os céus."Ellen G. White

Resumo
O e-learning tem utilizado tecnologias de informação para potencializar a educação via internet. Com um aumento de 87% nas matrículas em Educação a Distância desde 2014,
a modalidade ultrapassou o ensino presencial em oferta de vagas desde 2020, refletindo a
adaptabilidade das instituições ao mundo digital. Assim, os professores têm enfrentado desafios referente ao aumento da carga de trabalho devido à gestão das interações nos ambientes
virtuais. Nesse contexto, essa dissertação investiga qual a percepção dos docentes em relação ao seu esforço cognitivo e tempo de dedicação na criação e envio de feedbacks em uma
plataforma educacional simulada por meio da Inteligência Artificial e Learning Analytics.
Este estudo irá comparar três grupos de professores, utilizando um dos ambientes (manual
- AM, automatizado - AA e semi-automatizado - AS) de acompanhamento de uma plataforma educacional simulada. O intuito é otimizar o processo educacional, tornando a gestão
de feedbacks mais eficiente, sem sobrecarregar os profissionais da educação. Neste estudo,
98 docentes participantes avaliaram aleatoriamente através de um questionário qual é a sua
percepção de esforço cognitivo e tempo dedicado para a criação e envio de feedback para
alunos na plataforma. Foi aplicado diversos testes estatísticos, como Kolmogorov-Smirnov
e Levene, visando compreender a distribuição dos dados, bem como o NASA TLX foi utilizado para avaliar a carga de trabalho percebida pelos docentes. Os resultados revelaram que
o teste de ANOVA destacou discrepâncias em certos ambientes e fatores. Na avaliação geral,
verificou-se uma diferença estatística significativa entre os AM e AA, tendo o p-valor= 0,060
e entre os mesmos ambientes, sob o p-valor= 0,065 para as dimensões de demanda física e
temporal, respectivamente, abaixo do limiar de p-valor=0,1. Ao avaliar os professores por
gênero, para as mulheres verificou-se uma diferença estatística significativa entre os AS e
AM, tendo o p-valor de 0,053 e entre os ambos os gêneros para o AS, sob o p-valor de 0,046
para a dimensão de demanda física. O AS na maioria dos testes ficava entre o AA e o AM.
Notavelmente, o AA influenciou certos aspectos em comparação ao AM. A pesquisa sugere
que o tipo de ambiente de feedback pode afetar a carga de trabalho dos docentes, variando
de acordo com fatores específicos e independente do gênero.
Palavras-chaves: Teoria da Carga de Cognitiva. NASA TLX. Ambientes Educacionais.
Learning Analytics.

Abstract
E-learning has used information technologies to enhance education via the internet. With an
87% increase in enrollments in Distance Education since 2014, the modality has surpassed
face-to-face teaching in terms of vacancies since 2020, reflecting the adaptability of institutions to the digital world. Thus, teachers have faced challenges regarding increased workload
due to managing interactions in virtual environments. In this context, this dissertation investigates the perception of teachers in relation to their cognitive effort and time dedicated to
creating and sending feedback on an educational platform simulated through Artificial Intelligence and Learning Analytics. This study will compare three groups of teachers, using one
of the environments (manual - AM, automated - AA and semi-automated - AS) to monitor
a simulated educational platform. The aim is to optimize the educational process, making feedback management more efficient, without overloading education professionals. In
this study, 98 participating teachers randomly assessed their perception of cognitive effort
and time dedicated to creating and sending feedback to students on the platform through a
questionnaire. Several statistical tests were applied, such as Kolmogorov-Smirnov and Levene, aiming to understand the distribution of data, and NASA TLX was used to evaluate
the workload perceived by teachers. The results revealed that the ANOVA test highlighted
discrepancies in certain environments and factors. In the general assessment, there was a
significant statistical difference between AM and AA, with p-value = 0.060 and between the
same environments, with p-value = 0.065 for the dimensions of physical and temporal demand, respectively, below the p-value threshold=0.1. When evaluating teachers by gender,
for women there was a significant statistical difference between AS and AM, with a p-value
of 0.053 and between both genders for AS, with a p-value of 0.046 for the dimension of
physical demand. The AS in most tests was between AA and AM. Notably, AA influenced
certain aspects compared to AM. Research suggests that the type of feedback environment
can affect teachers’ workload, varying according to specific factors and regardless of gender.
Keywords: Cognitive Load Theory, NASA TLX, Educational Environments, Learning
Analytics.

Lista de Figuras
1

Municípios com alunos matriculados com Polos EaD - Brasil 2014 e 2022 .

Número de vagas oferecidas em cursos de graduação, por modalidade de
ensino - Brasil 2014 e 2022 . . . . . . . . . . . . . . . . . . . . . . . . . .

11
11

Número de matrículas em cursos de graduação, por modalidade do ensino Brasil 1998 e 2022 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Número de ingressantes em curso de graduação - Brasil 2012 e 2022 . . . .

Razão aluno-docente na educação superior de graduação por rede e modalidade de ensino - Brasil 2022 . . . . . . . . . . . . . . . . . . . . . . . . .

Protótipo do Ambiente Manual - Tela Inicial . . . . . . . . . . . . . . . . .

Protótipo do Ambiente Manual - Tela de envio de Feedback . . . . . . . . .

Protótipo do Ambiente Automatizado - Tela de envio de Feedback . . . . .

Protótipo do Ambiente Semi-automatizado - Tela de envio de Feedback . .

Fases contempladas no Estudo Experimental . . . . . . . . . . . . . . . . .

Convite para participação do experimento . . . . . . . . . . . . . . . . . .

Site inicial que redireciona para um do três ambientes possíveis . . . . . . .

Painel do Ambiente Manual - Visão Inicial . . . . . . . . . . . . . . . . . .

Painel do Ambiente Manual - Áreas do Painel . . . . . . . . . . . . . . . .

Painel do Ambiente Manual - Visão do Envio de Feedback . . . . . . . . .

Painel do Ambiente Manual - Confirmação do Envio do Feedback Individual

Painel do Ambiente Automático - Visão Inicial . . . . . . . . . . . . . . .

Painel do Ambiente Automático - Painel Docente . . . . . . . . . . . . . .

Painel do Ambiente Automático - Visão do Envio de Feedback . . . . . . .

Painel do Ambiente Automático - Confirmação do Envio em lote . . . . . .

Painel do Ambiente Semi-automatizado - Visão Inicial . . . . . . . . . . .

Painel do Ambiente Semi-automatizado - Painel Docente . . . . . . . . . .

Painel do Ambiente Semi-automatizado - Visão do Envio de Feedback . . .

Painel do Ambiente Semi-automatizado - Confirmação do Envio em Grupo

Passa-a-passo desde a coleta até o resultado das hipóteses . . . . . . . . . .

Gráfico Violin Plot das dimensões por Ambiente . . . . . . . . . . . . . . .

Gráfico Violin Plot das dimensões por Ambiente por Gênero . . . . . . . .

Histograma do Teste NASA TLX por Ambiente . . . . . . . . . . . . . . .

Histograma do Teste NASA TLX por Ambiente para o Gênero Masculino .

Histograma do Teste NASA TLX por Ambiente para o Gênero Feminino . .

Resultado do Teste NASA TLX por Ambiente . . . . . . . . . . . . . . . .

Lista de Tabelas
1

Principais Teorias de Feedback . . . . . . . . . . . . . . . . . . . . . . . .

Detalhamento dos aspectos do NASA TLX com exemplos . . . . . . . . .

Tipos de Carga Cognitiva e Suas Aplicações . . . . . . . . . . . . . . . . .

Resumo das categorias desta pesquisa . . . . . . . . . . . . . . . . . . . .

Conversão das perguntas do questionário de percepção em código . . . . .

Frequências por Ambiente . . . . . . . . . . . . . . . . . . . . . . . . . .

Frequências por Gênero por Ambiente . . . . . . . . . . . . . . . . . . . .

Estatísticas descritivas da Percepção do Tempo de Trabalho dos Professores
em Relação a Produtividade e Eficiência . . . . . . . . . . . . . . . . . . .

Percepção do Professor do Tempo de Dedicação em relação à Produtividade
nos Ambientes (TMP-01) . . . . . . . . . . . . . . . . . . . . . . . . . . .

Percepção do Professor do Esforço Cognitivo em Relação a Produtividade
nos Ambientes(SFR-01) . . . . . . . . . . . . . . . . . . . . . . . . . . .

Estatísticas descritivas da Percepção do Tempo de Trabalho dos Professores
em Relação a Produtividade e Eficiência . . . . . . . . . . . . . . . . . . .

Percepção do Professor do Tempo de Dedicação em relação a Eficiência nos
Ambientes(TMP-02) . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Percepção do Professor do Esforço Cognitivo em Relação ao Acompanhamento do Rendimento dos Aluno nos Ambientes (SFR-02) . . . . . . . . .

Frequência de palavras por ambiente para variável OBJ-01 . . . . . . . . .

Frequência de palavras por ambiente para variável OBJ-02 . . . . . . . . .

Resultados dos Testes de Normalidade (Kolmogorov-Smirnov) e Homogeneidade das Variâncias(Levene) . . . . . . . . . . . . . . . . . . . . . . . .

Teste ANOVA nas variáveis NASA TLX por Ambiente . . . . . . . . . . .

Resultados ajustados dos testes de Tukey e Bonferroni . . . . . . . . . . .

Resultados da ANOVA para a interação entre ambiente e gênero nas variáveis dependentes do NASA TLX. . . . . . . . . . . . . . . . . . . . . . . .

Resultado do Teste de Tukey HSD para o fator Demanda Física NASA TLX
por ambiente por gênero . . . . . . . . . . . . . . . . . . . . . . . . . . .

iii

Siglas
AA Ambiente Automatizado.
AM Ambiente Manual.
AS Ambiente Semi-automatizado.
EaD Educação a Distância.
IA Inteligência Artificial.
IE Inteligência Humana.
INEP Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira.
LA Learning Analytics.
NASA NASA Task Load IndeX.
TCLE Termo de Consentimento Livre e Esclarecido.

Sumário
1

INTRODUÇÃO

1.1

Contexto e Motivação . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.2

Problema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.2.1

Problema de Negócio . . . . . . . . . . . . . . . . . . . . . . . . .

1.2.2

Problema Técnico . . . . . . . . . . . . . . . . . . . . . . . . . .

Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.3.1

Objetivo Geral . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.3.2

Objetivo Específico . . . . . . . . . . . . . . . . . . . . . . . . . .

1.4

Justificativa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.5

Organização do Trabalho . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.3

REFERENCIAL TEÓRICO

2.1

Dashboards e visualização de Dados Educacionais . . . . . . . . . . . . .

2.2

Learning Analytics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.3

Feedback na Educação . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.4

Teste NASA Task Load Index . . . . . . . . . . . . . . . . . . . . . . . . .

2.5

Teoria da Carga Cognitiva . . . . . . . . . . . . . . . . . . . . . . . . . .

TRABALHOS RELACIONADOS
3.1

Percepção de Carga de Trabalho na Recomendação de Recursos Educacionais Apoiada por Inteligência Artificial - Um Experimento Controlado com
Professores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.2

Visualizations and Dashboards for Learning Analytics: A Systematic Literature Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.3

Video-Based Feedback on Student Work: An Investigation into the Instructor
Experience, Workload, and Student Evaluations . . . . . . . . . . . . . . .

METODOLOGIA

4.1

Proposta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.2

Protótipo do Ambiente Manual . . . . . . . . . . . . . . . . . . . . . . . .

4.3

Protótipo do Ambiente Automatizado . . . . . . . . . . . . . . . . . . . .

4.4
5

Protótipo do Ambiente Semi-Automatizado . . . . . . . . . . . . . . . . .

EXPERIMENTO

5.1

Escopo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.2

Hipóteses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.3

Seleção dos Sujeitos . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.4

Fases do Experimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.4.1

Fase 1 - Seleção dos participantes . . . . . . . . . . . . . . . . . .

5.4.2

Fase 2 - Preparação . . . . . . . . . . . . . . . . . . . . . . . . . .

5.4.3

Fase 3 - Dados pessoais . . . . . . . . . . . . . . . . . . . . . . .

5.4.4

Fase 4 - Conceitos Básicos . . . . . . . . . . . . . . . . . . . . . .

5.4.5

Fase 5 - Instruções do Questionário . . . . . . . . . . . . . . . . .

5.4.6

Fase 6 - Questionários de percepção . . . . . . . . . . . . . . . . .

5.4.7

Fase 7 - Processo da Coleta de dados . . . . . . . . . . . . . . . .

5.4.8

Fase 8 - Análise dos dados . . . . . . . . . . . . . . . . . . . . . .

5.4.9

Fase 9 - Apresentação de resultados . . . . . . . . . . . . . . . . .

5.4.10 Critérios de Inclusão . . . . . . . . . . . . . . . . . . . . . . . . .

5.4.11 Critérios de Exclusão . . . . . . . . . . . . . . . . . . . . . . . . .

5.5

Riscos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.6

Benefícios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.7

Dados Utilizados no Caso de Uso . . . . . . . . . . . . . . . . . . . . . .

5.8

Metodologia de Análise de Dados . . . . . . . . . . . . . . . . . . . . . .

RESULTADOS E DISCUSSÕES

6.1

Análises Qualitativa dos Ambientes . . . . . . . . . . . . . . . . . . . . .
6.1.1

Análise dos dados obtidos a partir do questionário de percepção docente (Escala Likert) . . . . . . . . . . . . . . . . . . . . . . . . .

6.2

Análise Exploratória de Dados . . . . . . . . . . . . . . . . . . . . . . . .

6.3

Análise Quantitativa dos Ambientes . . . . . . . . . . . . . . . . . . . . .

6.3.1

Análise prévia dos Dados . . . . . . . . . . . . . . . . . . . . . . .

6.3.2

Testes de Hipóteses . . . . . . . . . . . . . . . . . . . . . . . . . .

6.3.3

Resultados das Hipóteses . . . . . . . . . . . . . . . . . . . . . . .

6.4

Discussões . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6.4.1

Discussão das estatísticas descritivas e análise qualitativa . . . . . .

6.4.2

Discussão da análise exploratória . . . . . . . . . . . . . . . . . .

6.4.3

Discussão da análise quantitativa . . . . . . . . . . . . . . . . . . .

6.4.4

Discussão dos resultados em relação aos trabalhos relacionados . .

100

CONCLUSÃO

103

7.1

Limitações . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

104

7.2

Trabalhos Futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

105

A ANEXO A - TERMO DE CONSENTIMENTO LIVRE E ESCLARECIDO
(T.C.L.E.)

113

B ANEXO B - QUESTIONÁRIO CONCEITOS BÁSICOS

118

C ANEXO C - QUESTIONÁRIO DE PERCEPÇÃO

120

D ANEXO D - QUESTIONÁRIO NASA/TLX

123

vii

1 INTRODUÇÃO

INTRODUÇÃO
O objetivo deste capítulo é apresentar o trabalho de dissertação de mestrado desenvol-

vido. Para tal o capítulo discorre, na Seção 1.1, uma breve contextualização sobre a educação
em ambientes virtuais, a Seção 1.2 apresenta o problema de pesquisa que estimula a realização do trabalho, a Seção 1.3 define o objetivo geral e os específicos deste trabalho, a Seção
1.4 descreve a justificativa desta projeto de pesquisa e, finalmente, a Seção 1.5 explica sobre
a organização desta dissertação.

1.1

Contexto e Motivação

O ensino eletrônico, também conhecido como e-learning, é um modelo de ensino baseado
na Internet que utiliza tecnologias de informação para facilitar a comunicação e compartilhamento de conteúdo, com o objetivo de aprimorar os processos de ensino e aprendizagem
(MOTHIBI, 2015). Esse modelo oferece uma ampla variedade de ferramentas, tanto síncronas quanto assíncronas, que possibilitam atividades individuais e em grupo para os alunos,
além de permitir um acompanhamento contínuo por parte dos professores e da gestão pedagógica.
O aumento significativo na demanda por cursos on-line está diretamente relacionado
ao crescimento exponencial da Educação a Distância (EaD). Segundo dados do Instituto
Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) de 20221 , a matrícula
na EaD teve um aumento de 87% em comparação ao ano de 2014. Esse crescimento pode
ser observado na Figura 1. A expansão da EaD teve vários fatores, incluindo a oferta de
cursos por instituições de ensino superior e a busca de estudantes por opções flexíveis de
aprendizado.
Além disso, a modalidade de ensino EaD tem superado a presencial em termos de oferta
de vagas desde 2020, como evidenciado na Figura 2. Esse aumento na oferta de vagas, especialmente durante a pandemia de SARS-CoV-2 (COVID-19), reflete a adaptação de diversos
setores, incluindo o educacional, ao ambiente virtual para garantir a continuidade das atividades. O ensino superior não foi exceção, experimentando um crescimento exponencial
1 Censo

disponível em:
https://www.gov.br/inep/pt-br/areas-de-atuacao/
pesquisas-estatisticas-e-indicadores/censo-da-educacao-superior/
resultados

1.1

Contexto e Motivação

Figura 1: Municípios com alunos matriculados com Polos EaD - Brasil 2014 e 2022

Fonte: MEC/Inep; Censo da Educação Superior(2023)
durante esse período.
Figura 2: Número de vagas oferecidas em cursos de graduação, por modalidade de ensino Brasil 2014 e 2022

Fonte: MEC/Inep; Censo da Educação Superior(2023)
Diante da significativa oferta de vagas e das circunstâncias decorrentes do isolamento
social, as matrículas em cursos de graduação na modalidade EaD experimentaram um crescimento notável, seguindo uma tendência que se manifestava desde 2016. Caso essa tendência prossiga, é esperado que, até o ano de 2023, o contingente de estudantes matriculados

1.1

Contexto e Motivação

em cursos a distância supere em número aqueles matriculados em cursos presenciais. Este
cenário pode ser visualizado na Figura 3, que representa a linha de tendência desse processo.
Figura 3: Número de matrículas em cursos de graduação, por modalidade do ensino - Brasil
1998 e 2022

Fonte: MEC/Inep; Censo da Educação Superior(2023)
Devido ao crescimento significativo no número de novos estudantes em cursos de graduação a distância, ultrapassando a marca histórica de 3 milhões em 2022, surge a necessidade
de avaliar a qualidade do ensino oferecido nessa modalidade. Este aumento expressivo é
claramente ilustrado na 4 , que mostra o crescimento na oferta de vagas.
No intuito de mensurar a qualidade do ensino, uma análise da relação aluno-professor foi
conduzida, comparando a modalidade EaD com a modalidade presencial. Verificou-se que,
na EaD, essa proporção chega a ser aproximadamente 3 vezes maior na rede pública e quase
8 vezes maior na rede privada em comparação com a modalidade presencial, resultando em
uma relação de 171 alunos para cada professor, como evidenciado na Figura 5.

1.1

Contexto e Motivação

Figura 4: Número de ingressantes em curso de graduação - Brasil 2012 e 2022

Fonte: MEC/Inep; Censo da Educação Superior(2023)
Figura 5: Razão aluno-docente na educação superior de graduação por rede e modalidade de
ensino - Brasil 2022

Fonte: MEC/Inep; Censo da Educação Superior(2023)

1.1

Contexto e Motivação

A expansão do ensino a distância trouxe consigo um aumento significativo na carga de
trabalho dos professores, que desempenham um papel fundamental no apoio aos alunos em
sua busca pelo conhecimento. Nos ambientes virtuais, nos quais grande parte da interação
ocorre por meio de fóruns e chats, os professores desempenham um papel central no auxílio
aos estudantes no processo de construção do conhecimento. O feedback é um componente
intrínseco do ensino eficaz, exigindo a aplicação de habilidades cognitivas dos professores
para atender às necessidades individuais dos alunos. No entanto, o grande volume de postagens nesses ambientes tem sobrecarregado os tutores, tornando desafiador responder às
perguntas dos alunos de maneira rápida e satisfatória.
Com o propósito de aliviar essa sobrecarga de trabalho, técnicas de Inteligência Artificial (IA) e Mineração de Dados têm sido aplicadas nesse contexto, visando agrupar as
postagens em categorias, como perguntas, respostas e opiniões. O resultado desse processamento oferece informações mais organizadas, embora ainda o fluxo de informações possa
ser significativo e, em muitos casos, desafiador para um único docente lidar, dependendo da
quantidade de postagens a serem respondidas nos grupos criados.
Outra estratégia adotada para aprimorar a organização das informações para os docentes envolve a implementação de painéis de controle (dashboards) em conjunto com o uso
de Learning Analytics (LA). Esses painéis visuais exibem informações de maneira gráfica,
empregando diversos tipos de representações e gráficos, com o propósito de auxiliar os professores na extração de insights e na tomada de decisões sobre quais postagens devem receber prioridade. Além disso, esses painéis podem ser automatizados, simplificando tarefas e
respostas frequentemente necessárias em cada curso. Apesar dos benefícios oferecidos por
essas funcionalidades para aliviar a carga de trabalho do docente, um desafio significativo
reside na curva de aprendizado associada às ferramentas atualmente propostas. Em vez de
melhorar o desempenho do professor, a complexidade operacional dessas aplicações pode,
em alguns casos, resultar em estresse e confusão.
A complexidade das decisões tomadas pelos professores em ambientes virtuais, especialmente quando combinadas com a integração de LAs e outros recursos educacionais, tem
despertado o interesse de pesquisadores na adoção de estratégias combinadas de IA para ampliar a capacidade humana dos professores. Essa abordagem busca criar uma sinergia entre
as habilidades inerentemente humanas dos professores, como intuição, improvisação e com-

1.2

Problema

preensão emocional, e a notável capacidade e rapidez da IA em lidar com dados multidimen-

; BITTENCOURT, 2020). Essa colaboração entre inteligência humana e
sionais (PAIVA and
artificial, na qual a IA atua como uma assistência em vez de simplesmente automatização, é
frequentemente denominada Inteligência Aumentada (CERF, 2013).
O foco deste trabalho está direcionado para a investigação da percepção dos professores
em relação a carga de trabalho e ao tempo dedicado ao utilizar uma plataforma educacional
que integra a geração automática e personalizada de feedbacks para os alunos, por meio da
IA, combinada com a contribuição do professor para os alunos ou grupos de alunos. Essa
pesquisa será conduzida por meio de um estudo de caso simulado, visando compreender
como os docentes percebem o impacto dessas tecnologias em suas atividades educacionais.

1.2

Problema

Existem desafios a serem enfrentados, tais como: quais métodos podem auxiliar o professor a desempenhar um papel ativo na provisão de feedback aos estudantes em ambientes
virtuais, sem acrescentar significativamente à sua carga de trabalho? Ademais, dado o grande
volume de recursos e dados a serem gerenciados, como é possível aliviar a carga cognitiva
dos docentes que participam ativamente nesses ambientes?
Entre as possíveis soluções propostas, destacam-se as ferramentas de autoria, as quais
buscam proporcionar uma abordagem simplificada de design sem requerer habilidades técnicas avançadas por parte dos professores (MATOS et al., 2017). A aplicação de técnicas de inteligência artificial amplia as oportunidades de personalização e acompanhamento
dos professores no progresso de seus alunos no uso desses sistemas e, quando combinadas
com ferramentas de autoria, têm um considerável potencial para expandir as capacidades de
acompanhamento dos alunos pelos docentes (WOOLF, 2010).
Lidar com o feedback em ambientes educacionais virtuais, com o objetivo de motivar
e reter os alunos, representa um grande desafio, especialmente considerando o grande número de matriculados e a escassez de tutores disponíveis para oferecer suporte. As dúvidas,
perguntas e questionamentos dos alunos chegam em quantidade expressiva, muitas vezes
atingindo cifras elevadas. O professor precisa analisar cada um desses elementos antes de
fornecer respostas adequadas. Na perspectiva de promover o envolvimento dos estudantes, o docente avalia quais questionamentos merecem prioridade. No entanto, em meio a

1.2

Problema

um grande volume de mensagens, a identificação das prioridades pode se tornar desafiadora. Através do uso da IA, torna-se possível agrupar as demandas com base nos dados
gerados em ambientes educacionais, permitindo ao professor intervir de forma a contribuir
para um impacto positivo na construção do conhecimento do aluno durante o processo de
ensino/aprendizagem em um domínio específico.
Nesse contexto, pesquisadores têm demonstrado um interesse crescente em fornecer aos
professores estratégias para extrair informações dos ambientes virtuais, utilizando a análise
das postagens como meio de gerar dados nos ambientes educacionais. O objetivo é aproveitar as habilidades humanas dos professores para responder de maneira mais adequada às
demandas dos estudantes. Uma dessas estratégias envolve a utilização de dashboards e Learning Analytics para monitorar o desempenho dos alunos. Dessa forma, o professor pode
oferecer feedbacks específicos para alunos ou grupos de alunos com dúvidas semelhantes
(TENÓRIO et al., 2020).
O feedback personalizado fornecido manualmente pelos professores apresenta tanto vantagens quanto desvantagens. Entre as vantagens, destaca-se a possibilidade de oferecer um
feedback mais personalizado aos alunos, especialmente àqueles que compartilham características comuns. No entanto, as desvantagens incluem o esforço cognitivo e o tempo
despendido pelo professor na interpretação de dados de uso relacionados à aprendizagem
e motivação dos estudantes, bem como na elaboração de feedbacks para múltiplos alunos
e/ou grupos. Essas ações podem sobrecarregar o professor e afetar a qualidade das respostas
(DANIEL, 2020). Portanto, considerando as possíveis desvantagens citadas, busca-se maneiras de simplificar e automatizar, pelo menos parcialmente, as atividades de intervenção
do professor na criação de feedbacks, a fim de permitir um uso mais eficaz dos docentes no
processo de ensino em ambientes educacionais.
Conforme apontado por (CUKUROVA et al., 2019), os sistemas de IA na educação podem ser empregados para apoiar os processos de tomada de decisão humana, em vez de
simplesmente automatizá-los. Em outras palavras, em um ambiente semi-automatizado, o
professor, com o auxílio de sistemas de IA, tem o potencial de ampliar suas capacidades
intelectuais em colaborações entre humanos e máquinas. Isso se traduz em uma extensão
das habilidades dos professores para fornecer feedback aos alunos ou grupos de alunos com
base em seus padrões de interação em plataformas pedagógicas.

1.3

Objetivos

Ao analisar os aspectos mencionados, a questão central deste objeto de pesquisa se configura da seguinte forma: “Qual é a percepção dos professores em relação a carga de
trabalho, ao utilizar um ambiente educacional combinando Inteligência Artificial para
dar feedback aos estudantes?"
1.2.1

Problema de Negócio

Quais são formas de desenvolver soluções que permitam aos professores fornecer feedbacks mais eficazes aos alunos sem aumentar significativamente seu esforço? Considerando
a diversidade de recursos e informações disponíveis, como otimizar a gestão desses dados
de modo a reduzir a carga de trabalho dos educadores na participação ativa em ambiente
educacional com Learning Analytics?
1.2.2

Problema Técnico

Como desenvolver uma estratégia híbrido que integre técnicas de IA e com a habilidade
humana dos professores, de modo a otimizar e personalizar a criação de feedbacks para
alunos e grupos de alunos, reduzindo, assim, a carga de trabalho e o tempo despendido pelos
professores no processo?

1.3

Objetivos

1.3.1

Objetivo Geral

Investigar, por meio de uma abordagem experimental, a percepção docente quanto a
carga de trabalho e ao tempo de dedicação em suas atividades, principalmente na elaboração e envio de feedbacks em três ambientes distintos: AA (Ambiente Automatizado); AM
(Ambiente Manual); AS (Ambiente Semi-automatizado).
1.3.2

Objetivo Específico

• Realizar uma revisão sistemática da literatura;
• Desenvolver ambientes para envio de feedbacks fundamentados nos princípios teóricos
e práticas identificadas na literatura envolvendo Dashboard e Learning Analytics;

1.4

Justificativa

• Analisar a percepção docente em relação a variáveis como demanda mental cognitivo,
demanda física, demanda temporal, desempenho, esforço e frustração ao interagir com
os cenários propostos.

1.4

Justificativa

O crescimento significativo da EaD e a crescente demanda por cursos on-line nos últimos
anos são fenômenos que estão transformando o cenário educacional. No entanto, esse aumento na oferta de cursos EaD também trouxe consigo desafios significativos, especialmente
no que diz respeito à qualidade do ensino oferecido e à carga de trabalho dos professores que
desempenham um papel central na facilitação do aprendizado dos alunos.
Nesse contexto, esta pesquisa se propõe a preencher várias lacunas importantes na literatura e na prática educacional:
• Feedback Personalizado: A personalização do feedback é crucial para o aprendizado
dos alunos, mas pode ser uma tarefa demorada e desafiadora para os professores. Esta
pesquisa busca explorar como a IA pode ser usada para automatizar parcialmente a
criação de feedback personalizado, aliviando a carga de trabalho dos docentes.
• Inteligência Aumentada na Educação: A colaboração entre inteligência humana e artificial, conhecida como Inteligência Aumentada, é um conceito emergente na educação.
Esta pesquisa investigará como essa abordagem pode ser aplicada para melhorar a capacidade dos professores de fornecer feedback aos alunos.
• Gestão de Dados Educacionais: O gerenciamento eficiente de grandes volumes de
dados em ambientes educacionais é um desafio. Esta pesquisa busca identificar estratégias para otimizar a gestão de dados, reduzindo a carga cognitiva dos professores.
• Comparação de Ambientes de Feedback: Esta pesquisa realizará um estudo experimental para comparar diferentes ambientes de feedback (Ambiente Automatizado,
Ambiente Manual e Ambiente Semi-automatizado) e analisar a percepção dos professores em relação ao esforço cognitivo e ao tempo dedicado em suas atividades.

1.5

Organização do Trabalho

1.5

Organização do Trabalho

No Capítulo 2 estão descritos os conceitos que serão a base para a compreensão desta
dissertação, tal como a definição de dashboards e visualização de Dados Educacionais; Learning Analytics; Feedback na Educação; Teste NASA Task Load Index; e Teoria da Carga
Cognitiva;
Já no Capítulo 3 são apresentados os trabalhos relacionados a este trabalho reportados na
literatura acadêmica, alguns clássicos assim como as consideradas em estado da arte.
Por sua vez, Capítulo 4 relata como a proposta apresentada será avaliada e metodologia
utilizada.
No Capítulo 5 neste capítulo são detalhadas as fases e execução do experimento proposto.
O Capítulo 6 neste capítulo serão apresentados os resultados e análises estatísticas do
experimento aplicado de acordo com as hipóteses levantadas neste projeto de pesquisa.
No Capítulo 7, discorre sobre o fechamento do trabalho com as conclusões, limitações e
trabalhos futuros de pesquisas.

2 REFERENCIAL TEÓRICO

REFERENCIAL TEÓRICO
Neste capítulo será discorrido todo embasamento teórico dos conceitos utilizados no

presente trabalho. Inicialmente será apresentado a parte de Dashboard e Visualização de
Dados Educacionais (Seção 2.1); Learning Analytics (Seção 2.2); Feedback na Educação
(Seção 2.3); Teste NASA Task Load Index (TLX) (Seção 2.4); Teoria da Carga Cognitiva
(Seção 2.5);

2.1

Dashboards e visualização de Dados Educacionais

O monitoramento da interação dos alunos com os recursos de aprendizagem tem se mostrado uma ferramenta importante para os educadores no ambiente moderno de ensino. Esse
acompanhamento é geralmente realizado através de dashboards, painéis de controle que
apresentam visualmente uma variedade de informações relacionadas ao aprendizado. Nesses
painéis, professores têm acesso a representações gráficas de diversas métricas de interação
dos alunos, incluindo tempo gasto em determinados recursos, progresso em relação às metas
estabelecidas e padrões de interação com materiais didáticos. Essas visualizações oferecem
uma visão clara e concisa do engajamento e progresso dos alunos, permitindo que os educadores identifiquem rapidamente áreas de destaque ou preocupação (PAIVA et al., 2013)
CAMPEN,
2017)
(MOLENAAR; and
Knoop-van
CAMPEN, 2017).

A literatura destaca a eficácia e a importância desses painéis de dados de aprendizagem.
Estudos têm mostrado que a visualização gráfica de informações de aprendizagem ajuda os
professores a compreenderem melhor o desempenho e as necessidades dos alunos (XHAKAJ
LEEUWEN
et al., 2017) (Van
Leeuwen, 2015). Além disso, quando usados corretamente, esses dash-

boards podem servir como ferramentas valiosas para informar decisões pedagógicas. Eles
podem ajudar os professores a identificar onde os alunos podem estar enfrentando desafios,
permitindo uma intervenção rápida e específica.
No entanto, o potencial dos dashboards vai além do mero monitoramento. A visualização gráfica e a fácil interpretação das informações fornecem aos educadores insights acionáveis que podem levar a mudanças pedagógicas significativas. De acordo com estudos
recentes (PAIVA et al., 2012), a utilização estratégica desses painéis de controle pode contribuir positivamente para aprimorar a experiência de aprendizado dos alunos. Ao adaptar suas

2.2

Learning Analytics

estratégias com base nas informações fornecidas, os educadores podem criar um ambiente
de aprendizado mais envolvente e eficaz para seus alunos.
O uso de Dashboards e Learning Analytics neste trabalho visa apoiar a investigação sobre a percepção dos docentes em relação à carga de trabalho e ao tempo dedicado às suas
atividades, especialmente na elaboração e envio de feedbacks. Os Dashboards, como painéis
de controle visual, desempenharão um papel fundamental ao fornecer aos professores uma
visão clara e concisa do engajamento e progresso dos alunos. Isso é essencial para avaliar
como diferentes ambientes (Automatizado, Manual e Semi-automatizado) afetam a demanda
de trabalho dos docentes. Por meio da visualização gráfica de diversas métricas, os Dashboards facilitarão a identificação de áreas que exigem mais atenção e esforço, permitindo uma
análise mais precisa da carga de trabalho docente.

2.2

Learning Analytics

O campo de Learning Analytics (LA) tem se mostrado uma área emergente e promissora
na educação, com dashboards personalizados sendo uma de suas ferramentas mais proeminentes (PARK and
; JO, 2015). Esses dashboards são desenhados para adaptar o processo
de aprendizagem em tempo real, oferecendo insights e visualizações que podem auxiliar
tanto alunos quanto educadores em suas atividades pedagógicas (HAN et al., 2021). Essa
capacidade de adaptação é impulsionada pelos diversos recursos que a LA oferece, focando
em oportunidades de aprendizado, recomendações personalizadas, comparação com pares e

; IFENTHALER, 2018).
mais (SCHUMACHER and
Muitos sistemas de LA se concentram principalmente na visualização e apresentação de
informações descritivas (SCHUMACHER ;and IFENTHALER, 2018), (KIM et al., 2016) e
(VERBERT et al., 2014). Essas informações podem incluir detalhes como acesso a recursos
específicos, tempo total gasto em um curso, progresso de aprendizagem e até mesmo comparações com o desempenho de outros alunos. Essas características são vitais para ajudar
os educadores a monitorar e entender melhor o desempenho de seus alunos em ambientes
virtuais de aprendizado.
No entanto, além da visualização descritiva, os dashboards também estão se movendo
em direção a recomendações mais proativas. Essas recomendações podem ser baseadas em
diversos fatores, como a disposição do aluno para aprender, comportamentos anteriores, re-

2.2

Learning Analytics

sultados de autoavaliações e objetivos de aprendizado estabelecidos (SUSNJAK et al., 2022).
Por exemplo, um dashboard pode sugerir recursos ou atividades adicionais para um aluno
que mostra uma disposição elevada para aprender, mas que pode estar enfrentando dificuldades em áreas específicas.
É importante destacar que a criação e uso desses dashboards deve ser feita de forma responsável e informada. Os dashboards devem ser projetados de forma a beneficiar o processo
educacional, alinhando-se com teorias pedagógicas e oferecendo feedbacks e instruções relevantes. Ao fazer isso, eles podem ajudar a evitar consequências educacionais desfavoráveis
e garantir uma experiência de aprendizagem positiva para todos os envolvidos (HASNINE
et al., 2023) (Gašević et al., 2015).
Neste estudo, a integração de Dashboards e Learning Analytics surge como uma abordagem fundamental para entender e otimizar a carga de trabalho dos docentes, especialmente
na tarefa essencial de fornecer feedbacks. Os Dashboards, funcionando como ferramentas
visuais, sintetizam os dados complexos provenientes do Learning Analytics, facilitando para
os professores a visualização do engajamento e progresso dos alunos. Essa visualização é
crucial para avaliar o impacto de diferentes ambientes de aprendizado - Automatizado, Manual e Semi-automatizado - na carga de trabalho dos professores. Além disso, o Learning
Analytics enriquece essas visualizações com insights adaptativos e personalizados, ajudando
os educadores a compreenderem melhor como suas interações com esses ambientes afetam
variáveis como demanda mental, esforço e frustração.
A capacidade dos Dashboards de Learning Analytics de oferecer recomendações personalizadas e visualizações detalhadas sobre o desempenho dos alunos é importante para
o objetivo específico deste estudo, que é o desenvolvimento de ambientes eficientes para o
envio de feedbacks, baseados em princípios teóricos e práticas identificadas na literatura.
A análise da interação docente com esses Dashboards fornecerá informações valiosas sobre
como a tecnologia pode ser usada para otimizar a carga de trabalho dos professores e melhorar a eficácia do feedback. Ao combinar essas duas abordagens, o estudo busca criar um
ciclo de feedback mais eficaz, que melhore a experiência de aprendizagem dos alunos e, ao
mesmo tempo, aumente a eficiência e reduza a carga de trabalho dos professores, destacando
a importância dessa interseção na educação moderna.

2.3

Feedback na Educação

2.3

Feedback na Educação

Dentro dos dashboards que serão desenvolvidos, sua principal funcionalidade será o envio de feedback para discentes.
A literatura apresenta diversos tipos de feedback que pode mudar conforme o autor. Em
geral tem-se os feedbacks formativo, somativo, corretivo, informativo, positivo, negativo,
entre pares, autoavaliação, mediado por tecnologia, just-in-time.
O feedback está presente quando nos ajustamos após sermos informados sobre um erro
ou quando buscamos maneiras alternativas de esclarecer um ponto mal compreendido por um
aluno. O Feedback funciona como um mecanismo através do qual indivíduos, especialmente
estudantes, descobrem se estão alcançando seus objetivos e atendendo às expectativas. Mais
do que apenas uma reação a um trabalho apresentado, o feedback serve como um canal
pessoal de comunicação, destacando o que é valorizado e o que não é em um determinado
trabalho ou ação. A eficácia do feedback é influenciada por diversos fatores, incluindo a

; WILIAM, 1998) em
frequência com que é fornecido, como demonstrado por (BLACK and
suas pesquisas.
Os educadores, através do feedback, comunicam suas expectativas e valorizam os esforços dos alunos. Os alunos, por outro lado, investem considerável tempo e esforço em
suas tarefas, tornando o feedback um elemento crucial para entenderem seu desempenho e
progresso. No ensino superior atual, onde as salas de aula são frequentemente lotadas, os
alunos têm menos oportunidades de interagir diretamente com os professores. Isso resulta
em insatisfação dos alunos em relação à quantidade e qualidade do feedback, como evidenciado em estudos de (CARLESS et al., 2011), levando a questionamentos sobre sua eficácia
e aplicação.
Os problemas associados ao feedback são multidimensionais. Uma das questões é a percepção dos estudantes, que frequentemente sentem que o feedback é mal aplicado, levando
a críticas às instituições. Outro desafio reside na entrega do feedback, onde muitos docentes focam apenas na sua transmissão, sem considerar que o impacto real se dá quando os
alunos efetivamente aplicam o aprendizado adquirido. Além disso, existe um problema de
compreensão do termo "feedback", que pode ser interpretado de várias maneiras, causando
mal-entendidos e uma aplicação ineficaz do feedback (BOUD and
; MOLLOY, 2012).
A adoção de plataformas educacionais digitais permite aos professores fornecer feedback

2.3

Feedback na Educação

de forma rápida e padronizada, permitindo também que os alunos o acessem em qualquer lugar e a qualquer momento. À medida que avançamos em direção a uma era mais digitalizada,
onde o aprendizado on-line e híbrido se torna cada vez mais prevalente, é essencial encontrar formas de fornecer feedback que seja oportuno, relevante e, acima de tudo, significativo
para os alunos e incluir o uso de inteligência artificial para fornecer feedback instantâneo
(PARDO et al., 2019).

Teoria
Teoria do Feedback

Modelo de Feedback

Feedback Formativo

Teoria do Estabelecimento de Metas
Feedback
e
Aprendizagem
Social

Tabela 1: Principais Teorias de Feedback
Autor(es)
Conceito
(HATTIE ; and Destaca que o feedback eficaz deve resTIMPERLEY,
ponder a três perguntas-chave relaciona2007)
das à tarefa, ao processo, à autorregulação e ao eu como pessoa. Deve ser claro,
objetivo e proporcionar orientações sobre
como melhorar.
(KLUGER; and Enfatiza que o feedback não afeta direDENISI, 1996)
tamente o desempenho, mas influencia a
atenção e a motivação. Pode ter efeitos positivos ou negativos, dependendo de
como altera a atenção do receptor.
(BLACK ; and Foca no papel do feedback no aprendiWILIAM, 1998) zado formativo, argumentando que deve
ser usado para informar o aluno sobre
sua performance atual e orientá-lo sobre
como melhorar.
(LOCKE ; and Relacionada ao feedback, destaca a imLATHAM, 2002) portância de estabelecer metas claras e a
relevância do feedback para informar sobre o progresso em direção a essas metas.
(BANDURA,
Centrada na aprendizagem observacional,
1999)
sugere que o feedback é crucial para
a aprendizagem, permitindo ajustes no
comportamento e compreensão das consequências das ações.

Na Tabela 1 apresenta uma síntese das principais teorias do feedback. A Teoria do Feedback Formativo de (BLACK ;and WILIAM, 1998) está mais alinhada com os objetivos
definidos neste trabalho, que foca na percepção docente quanto à carga de trabalho e tempo
dedicado, especialmente na elaboração e envio de feedbacks em ambientes distintos. Essa teoria enfatiza o papel do feedback no processo de aprendizado, argumentando que o feedback
deve informar o aluno (ou, neste caso, o professor) sobre sua performance atual e orientá-lo

2.4

Teste NASA Task Load Index

sobre como melhorar. No contexto do estudo, essa abordagem será aplicada ao desenvolver
ambientes de feedback (Automatizado, Manual e Semi-automatizado) que visam facilitar a
tarefa dos professores e otimizar seu tempo e esforço. Ao integrar os princípios dessa teoria,
o feedback fornecido nos diferentes ambientes será projetado para ser claro, objetivo e direcionado, ajudando os professores a compreenderem eficazmente seu desempenho em cada
ambiente e orientando-os sobre como podem aprimorar suas técnicas de feedback. Isso,
por sua vez, permitirá uma análise mais precisa da carga de trabalho dos professores e da
demanda cognitiva associada a cada tipo de ambiente de feedback.

2.4

Teste NASA Task Load Index

Seguindo na linha de envio de feedback pelo docente, a abordagem escolhida para mensurar a carga de trabalho nesse processo será por meio do teste NASA Task Load Index (NASA
TLX). Ele é uma ferramenta de avaliação da carga de trabalho subjetiva que foi desenvolvida
pela Administração Nacional de Aeronáutica e Espaço (NASA) dos Estados Unidos. Ele é
projetado para medir a carga de trabalho percebida por indivíduos em uma ampla variedade
de tarefas, incluindo aquelas que envolvem atividades cognitivas (AFRIDI ;and MENGASH,
2022).
O NASA TLX, desenvolvido por (HART ;and STAVELAND, 1988), é um instrumento
amplamente utilizado na avaliação da carga de trabalho mental percebida. Ele emprega seis
dimensões distintas: demanda mental, demanda física, demanda temporal, desempenho, esforço e frustração.
O teste consiste em um questionário que coleta avaliações subjetivas em relação a diferentes aspectos da carga de trabalho, como esforço mental, demanda física, demanda temporal, desempenho, esforço próprio e frustração, detalhados a seguir:
Para obter avaliações quantitativas em cada dimensão, escalas bipolares de vinte passos
são aplicadas, resultando em pontuações variando de 0 a 100, arredondadas para o ponto de
5 mais próximo. O cálculo da pontuação global requer um procedimento de ponderação,
que envolve a realização de comparações pareadas para determinar a relevância relativa de
cada dimensão em relação à carga de trabalho percebida. As dimensões são ponderadas com
base nas escolhas feitas pelo avaliador ao compará-las em pares, e uma pontuação final de
carga de trabalho é obtida multiplicando o peso da dimensão pela pontuação da escala indivi-

2.4

Teste NASA Task Load Index

Tabela 2: Detalhamento dos aspectos do NASA TLX com exemplos
Frequências por Ambiente
Aspecto
Esforço Mental
Demanda Física
Demanda Temporal
Desempenho
Esforço Próprio
Frustração

Conceito
Grau em que a tarefa requer concentração e uso de
capacidades cognitivas
Extensão do esforço físico
necessário para realizar a
tarefa
Pressão do tempo para
completar a tarefa
Avaliação da própria eficácia na realização da tarefa

Exemplo
Tarefa de resolução de problemas matemáticos complexos
Aula prática de química
com manipulação frequente de equipamentos
Exame com tempo limitado
Avaliação do desempenho
baseada na qualidade de
um projeto de pesquisa
Nível de dedicação e em- Preparação de uma aprepenho pessoal investido na sentação importante
tarefa
Nível de estresse ou irrita- Trabalho com software de
ção experimentado
programação difícil

dual, somando todas as escalas ponderadas e dividindo por 15 (número total de comparações
pareadas).
O desenvolvimento do NASA TLX envolveu extensa pesquisa laboratorial, demonstrando sua sensibilidade em uma ampla gama de tarefas. Como uma ferramenta robusta
e válida, o TLX é essencial para avaliar a carga de trabalho percebida em contextos diversos,
proporcionando insights valiosos sobre a complexidade cognitiva e os desafios enfrentados
por indivíduos em diferentes situações de trabalho.
O TLX tem sido aplicado com sucesso em diferentes contextos multitarefa, como por
exemplo em recomendação de recursos acadêmicos (AFRIDI ;and MENGASH, 2022), na
educação on-line (PRABASWARI et al., 2019) (MACHADO et al., 2021),na área da saúde
e procedimento (NUR et al., 2020) (YURKO et al., 2010) (LOWNDES et al., 2020), em
missões com Veículos Aéreos Não Tripulados (LI et al., 2022), no meio empresarial (PUTRA
et al., 2023)
No presente trabalho, o NASA TLX será utilizado como uma ferramenta para avaliar a
percepção dos professores em relação à carga de trabalho e ao tempo dedicado às suas atividades nos ambientes Automatizado, Manual e Semi-automatizado, particularmente focando
na elaboração e envio de feedbacks. Este teste é projetado para medir a carga de trabalho per-

2.5

Teoria da Carga Cognitiva

cebida em várias dimensões, incluindo demanda mental, demanda física, demanda temporal,
desempenho, esforço e frustração. Através de um questionário detalhado, os professores
poderão avaliar subjetivamente cada aspecto da carga de trabalho associada às suas tarefas.
As respostas serão analisadas usando escalas para fornecer uma pontuação quantitativa, que
será ponderada para refletir a relevância relativa de cada dimensão na percepção global de
carga de trabalho. Este processo permitirá uma análise minuciosa e quantificável da experiência docente nos diferentes ambientes de feedback, proporcionando dados valiosos para
entender como diferentes métodos de feedback influenciam a carga cognitiva e emocional
dos professores, bem como sua eficiência e satisfação no trabalho.

2.5

Teoria da Carga Cognitiva

A Teoria da Carga Cognitiva, conceitua que cada indivíduo possui uma capacidade limitada para processar informações em sua memória de trabalho (SWELLER, 1988) e (REIS
et al., 2012). O termo "carga cognitiva"refere-se à demanda mental que uma tarefa específica exige do cérebro e é amplamente influenciada pela forma como as informações são
apresentadas e processadas. (DANIEL, 2020) e (COOPER, 1990) exemplificam esta noção,
indicando que a carga cognitiva é uma espécie de energia mental que um indivíduo gasta
ao lidar com um volume específico de informações. Quando esta carga ultrapassa a capacidade de processamento da memória, pode haver um comprometimento no desempenho e na
aprendizagem.
A fundamentação da teoria baseia-se no princípio de que a memória de trabalho possui
tanto capacidades de armazenamento quanto de processamento. Miller já havia apontado
anteriormente que o ser humano tem um limite no número de itens que pode processar simultaneamente na memória de trabalho. Assim, quando uma tarefa exige mais recursos do
que a memória de trabalho pode fornecer, surgem desafios que podem prejudicar a aprendizagem ou a execução de tarefas. Portanto, a memória não atua apenas como um repositório
de informações temporário, mas também gerencia ativamente essas informações (MILLER,
1956).
Sweller aprofundou ainda mais essa teoria, categorizando a carga cognitiva em três tipos
principais: Intrínseca, Estranha e Relevante. Cada tipo tem suas características e implicações
no processo de aprendizagem. Por exemplo, a Carga Intrínseca está relacionada à complexi-

2.5

Teoria da Carga Cognitiva

dade inerente do material de estudo, enquanto a Carga Estranha refere-se à maneira como a
informação é apresentada ao aprendiz, e a Carga Relevante é aquela que contribui de maneira
positiva para o processo de aprendizado. Sweller também detalhou efeitos específicos, como
Atenção Dividida e Redundância, e estabeleceu 29 diretrizes sobre como estruturar um ensino eficaz, minimizando cargas improdutivas e maximizando a aprendizagem (SWELLER,
2010).
A Tabela 3 ilustra os diferentes tipos de carga cognitiva podem afetar o processo de
aprendizagem, seja pela complexidade do conteúdo (Carga Intrínseca), pela forma como o
conteúdo é apresentado (Carga Estranha), ou pelas atividades que facilitam a compreensão e
retenção do conteúdo (Carga Relevante).
Tabela 3: Tipos de Carga Cognitiva e Suas Aplicações
Tipo de Carga Conceito
Exemplos de Aplicação
Cognitiva
Intrínseca
Relaciona-se à complexidade Aprender um novo idioma
inerente do material de es- com gramática e vocabulário
tudo.
complexos.
Estranha
Refere-se à maneira como a Um livro didático mal estruinformação é apresentada ao turado com instruções confuaprendiz e pode dificultar a sas e falta de coesão nos tópiaprendizagem.
cos apresentados.
Relevante
Contribui de maneira positiva Exercícios práticos que reforpara o processo de aprendi- çam o aprendizado, como rezado, representando a carga solver problemas de matemáútil.
tica após aprender um conceito.
No contexto educacional, entender a carga cognitiva é fundamental para melhorar a eficácia do ensino. Estudos recentes têm destacado que uma elevada carga de trabalho mental pode impactar negativamente a qualidade do ensino fornecido pelo professor (MALEKPOUR et al., 2014). Assim, torna-se imprescindível desenvolver abordagens e programas
que ajudem a mitigar essa sobrecarga, proporcionando um ambiente de ensino e aprendizagem mais propício e eficiente.
No trabalho proposto, a Teoria da Carga Cognitiva será incorporada no desenvolvimento
dos ambientes de feedback (Automatizado, Manual e Semi-automatizado), com ênfase especial na Carga Relevante. Esta teoria postula que cada indivíduo tem uma capacidade limitada
para processar informações, com a memória de trabalho desempenhando um papel crucial no

2.5

Teoria da Carga Cognitiva

gerenciamento ativo dessas informações. A Carga Relevante, um dos três tipos principais de
carga cognitiva identificados por Sweller, é essencial neste contexto, pois se refere aos aspectos da tarefa que contribuem positivamente para o processo de aprendizagem e compreensão.
Ao projetar os ambientes de feedback, será dada atenção especial à minimização da Carga
Estranha (que resulta da forma como as informações são apresentadas) e à otimização da
Carga Intrínseca (que está relacionada à complexidade inerente do material de estudo).
Ao incorporar esses princípios, o objetivo é criar interfaces de feedback que se alinhem
com a capacidade cognitiva dos professores, reduzindo a sobrecarga mental e melhorando
a eficiência do processo de ensino. Isso será feito através da apresentação clara e lógica
das informações, facilitando a assimilação e o processamento pelo cérebro. A análise da
percepção dos professores em relação a variáveis como demanda mental, esforço e frustração
nos diferentes ambientes proporcionará insights sobre como a carga cognitiva afeta a eficácia
do feedback e a gestão do tempo de trabalho. Assim, o estudo buscará otimizar o processo de
feedback, considerando os limites e as capacidades cognitivas dos educadores, e promover
uma experiência de ensino mais eficaz e menos onerosa para os docentes.

3 TRABALHOS RELACIONADOS

TRABALHOS RELACIONADOS
Neste capítulo, discutimos as dissertações e artigos que se relacionam com as abordagens

adotadas neste trabalho de mestrado. Além disso, ressaltamos os aspectos mais relevantes
dessas publicações em relação à proposta de pesquisa presente nesta dissertação.
Diversas abordagens foram propostas na literatura acerca do problema avaliação da carga
de trabalho do professor e desafios sobre o uso de dashboards e LA no contexto educacional, nessa seção serão apresentados os trabalhos base para a proposta e quais lacunas serão
trabalhadas na metodologia.

3.1

Percepção de Carga de Trabalho na Recomendação de Recursos
Educacionais Apoiada por Inteligência Artificial - Um Experimento
Controlado com Professores

Nesta pesquisa conduzida por (MACHADO et al., 2021), é apresentado um estudo que
se concentra na medição da carga de trabalho dos docentes em um modelo híbrido de gamificação baseado na recomendação de missões para os discentes. Nesse modelo, os professores
têm a capacidade de definir e enviar recomendações por meio de missões, incorporando recursos de aprendizado e elementos de gamificação. Além disso, eles podem ajustar o design
dessas missões para engajar e motivar os alunos que não atingem as metas definidas pelo
professor. A dissertação tem como base central a ideia de utilizar missões como um meio
de engajar e motivar os alunos no contexto dos recursos pedagógicos gamificados oferecidos
pela plataforma educacional.
No estudo realizado por (MACHADO et al., 2021), uma das principais contribuições
é a proposição de cenários destinados a Sistemas de Tutores Inteligentes direcionados aos
professores, com base no modelo conceitual apresentado na dissertação. Além disso, o documento inclui um capítulo de análise do estado da arte, no qual são realizadas revisões
sistemáticas da literatura relacionadas ao Processo de Tomada de Decisão Pedagógica e à
Teoria da Carga Cognitiva. Também são apresentados protótipos de três cenários que podem
ser aplicados no experimento: manual, automatizado e semi-automatizado.
No capítulo que descreve a proposta da dissertação, é apresentado o funcionamento do
experimento proposto, incluindo uma análise detalhada das características distintas de cada

3.1 Percepção de Carga de Trabalho na Recomendação de Recursos Educacionais
Apoiada por Inteligência Artificial - Um Experimento Controlado com Professores

cenário desenvolvido. O foco principal do trabalho é a avaliação da carga de trabalho dos
docentes no que se refere à recomendação de missões para os discentes em ambientes gamificados. O texto ilustra um exemplo de aplicação desse modelo, relacionado à interação dos
alunos, destacando como a recomendação de missões pode ser utilizada de modo a motivar
os alunos a interagirem mais com os recursos disponíveis na plataforma.
No capítulo referente ao experimento, são apresentados diversos painéis de dados (dashboards) que permitem o acompanhamento dos professores nos diferentes cenários propostos,
conforme definido no Sistema de Tutores Inteligentes (STI), de acordo com o plano de ensino
estabelecido. Esses painéis de dados exibem visualizações gráficas compostas por informações relacionadas aos recursos utilizados pela turma ou pelos alunos individualmente. Além
disso, fornecem informações sobre as missões criadas e o nível de interação da turma ou de
cada aluno com os recursos disponíveis.
Os cenários propostos na dissertação foram avaliados por um grupo de professores, que
foram convidados por e-mail para participar da pesquisa. Um total de 151 professores de
diferentes níveis educacionais participaram do estudo. Cada um deles analisou um protótipo
distribuído aleatoriamente por meio de uma URL fornecida aos participantes. Eles tiveram
acesso aos diferentes modos de visualização dos dashboards, nos quais puderam acompanhar
as interações dos estudantes com os recursos de aprendizagem, interações com os elementos
de gamificação e a adaptação do design de gamificação por meio da criação de missões.
Dependendo do cenário, o docente tinha a opção de recomendar missões manualmente para
cada aluno ou grupo; apenas confirmar missões designadas automaticamente à turma; ou
avaliar as missões recomendadas para os alunos e fazer ajustes conforme necessário antes de
enviá-las.
Posteriormente, os professores foram convidados a responder a um questionário que visava avaliar a interação deles na plataforma durante o experimento. Durante a discussão
dos resultados e na validação das hipóteses no contexto da percepção da carga de trabalho
docente, considerando seis fatores e foi segmentado por gênero, nível de conhecimento em
Tecnologia da Informação e Comunicação (TIC) e nível educacional em que atuam, o autor
concluiu que o cenário semi-automatizado se aproximou do cenário automatizado, mas este
último apresentou uma carga de trabalho menor em comparação ao cenário manual. No que
diz respeito à análise de gênero, o autor constatou que as professoras apresentaram uma per-

3.1 Percepção de Carga de Trabalho na Recomendação de Recursos Educacionais
Apoiada por Inteligência Artificial - Um Experimento Controlado com Professores

cepção de carga de trabalho significativamente diferente, com um menor esforço percebido
no cenário automatizado.
Entre as ameaças identificadas, destacam-se a falta de devida atenção ao propósito do
experimento por parte dos participantes ao elaborarem suas respostas e a dependência da
compreensão do experimento em relação à leitura e interpretação por parte dos professores
em relação à sua explicação.
Na conclusão de sua dissertação, apresentada por (MACHADO et al., 2021), em seus
futuros trabalhos, com um foco na melhoria da coleta de dados que afetam a percepção dos
professores em relação ao esforço cognitivo e ao tempo dedicado ao trabalho. Esse trabalho
futuro surgiu como um ponto de interesse de investigação desta pesquisa. No entanto, mesmo
que o contexto seja voltado para professores em um ambiente gamificado, a metodologia
empregada neste estudo poderia ser aplicada para investigar o impacto nos professores no
que diz respeito à criação e envio de feedbacks em ambientes automatizados, manuais e
híbridos, envolvendo múltiplas turmas, administradas por meio de um ambiente virtual de
aprendizagem combinado com a análise de dados educacionais (learning analytics).
Portanto, nesta dissertação, se propõe uma investigação sobre o impacto da atuação dos
professores na criação e envio de feedbacks em diferentes ambientes, incluindo ambientes
automatizados, manuais e um híbrido que envolve muitas turmas. Essa investigação será
conduzida por meio de um ambiente virtual de aprendizagem que utiliza learning analytics.
Nesse contexto, a automação oferece ao professor sugestões de feedback geradas automaticamente, e o professor tem a opção de aceitar ou não essas sugestões. A pesquisa busca
entender o impacto desses cenários na carga cognitiva e no tempo dedicado pelos professores
para realizar essas atividades de criação e envio de feedbacks. A contribuição central desta
dissertação é fornecer uma avaliação abrangente das três possibilidades de ambiente para o
envio de feedback. Além disso, o estudo se diferencia pela análise da qualidade das respostas dos professores participantes e pela investigação da percepção deles ao interagirem com
cada um dos ambientes aos quais foram expostos. Por meio dos cenários aplicados no experimento, pretende-se avaliar o modelo em relação a essas variáveis e comparar os diferentes
cenários propostos.
Os aspectos convergentes deste estudo referem-se à análise da carga de trabalho do docente em diversos ambientes virtuais, visando ampliar a participação geral do professor e

3.2 Visualizations and Dashboards for Learning Analytics: A Systematic Literature
Review

considerando as diferenças de gênero.
Já os aspectos divergentes estão associados ao campo de aplicação da pesquisa, que
abrange Sistema de Tutor Inteligente e gamificação voltada para recomendação de missões,
além de análises relacionadas ao nível educacional e proficiência em Tecnologias da Informação e Comunicação (TICs).

3.2

Visualizations and Dashboards for Learning Analytics: A Systematic
Literature Review

No artigo intitulado Visualizations and Dashboards for Learning Analytics: A Systematic
Literature Review foi realizar uma revisão sistemática da literatura sobre LA (Şahin; and
Ifenthaler, 2021).
A revisão foi conduzida de acordo com quatro passos, a saber: Revisão da literatura
de acordo com palavras chaves; seleção de estudos primários; categorização dos resultados; e apresentar o que foi encontrado. Foram utilizadas várias bases de dados como a
ACM, IEEE, etc. Nestas foram utilizadas os termos como "Learning Analytics", "Dashboards"ou "Visualization". Nos 76 artigos achados dessa etapa foi segmentada em 8 categorias:
Palavras-chaves, partes envolvidas e ano, grupo de estudo, técnicas de visualização, métodos,
ferramentas de coleta de dados, variáveis e background teórico.
• Nas Palavras-chaves, boa parte dos artigos continham a palavra LA, seguida de Dashboard, e Visualization and Self-Regulation. Já as palavras menos usadas nesse contexto foram motivação, privacidade, ética e processo de aprendizagem. A essas palavras foram aplicadas regras de associação com intervalo de confiança, sendo as três
mais relevantes: Feedback, Dashboard and feedback e Self-regulation learning.
• Na categoria de partes envolvidas e ano o trabalho apresenta uma crescente na frequência de artigos publicados sobre o tema desde 2012.
• Na categoria de grupo de estudo, mais da metade dos artigos foca nos estudantes (learners), sendo esse valor quase quatro vezes maior que estudos centrado no professor
(instructors).

3.2 Visualizations and Dashboards for Learning Analytics: A Systematic Literature
Review

• Na categoria de técnicas de visualização onde a parte visual tem um papel crítico na
apresentação de informações que façam sentido e que sejam interessantes de forma a
facilitar na interpretação dos dados. As técnicas com maiores frequências são: gráfico de linha, gráfico de barras, barra de progresso, feedback textual, linha do tempo,
gráfico de pizza, etc.
• Na categoria de métodos, onde diversas formas de condução de uma pesquisa com
dashboard foram encontradas. A maioria das pesquisas não apresentava um método
claro no design dos estudos, seguidos de Design Experimental, Combinação de Métodos, Pesquisa qualitativa, pesquisa quantitativa, etc.
• Na categoria de ferramentas de coleta de dados, diversos campos de estudos utilizaram
ambientes de aprendizado on-line para coleta de dados. As ferramentas que mais se
destacaram foram questionários/escalas, log de dados, entrevistas, teste dos alunos,
etc.
• Na categoria de variáveis aparece como as mais investigadas respectivamente, Estrutura de Aceitação, Desempenho dos estudantes/conquista, Conhecimento, etc. As variáveis com baixa utilização nesse contexto são: privacidade, competência, aspectos
emocionais, estratégias metacognitivas, etc.
• Na categoria de background teórico, muitos trabalhos utilizam o ambiente educacional
e investigam diferentes atores. Muitos desses estudos limitam-se a monitorar o resultado do desempenho dos estudantes, auto-avaliação. As teorias mais presentes nesses
estudos são: teoria da motivação e teoria da aprendizagem social.
Na conclusão os autores propõe alguns tópicos de investigação com base nos achados
na SLR em LA dashboard e visualização. Para abordar os tópicos discutidos no artigo,
é importante considerar que o dashboard, quando integrado com LA, oferece uma síntese
do conteúdo através de técnicas como sistemas de recomendação, feedbacks, entre outros.
Há uma crescente atenção ao tema, mas poucas investigações direcionadas aos professores.
Baseando-se nas principais técnicas de visualização, este trabalho propõe uma combinação
de abordagens. Será introduzido um design experimental de dashboard no contexto de LA
visando reduzir a carga de trabalho do docente (REIS et al., 2012).

3.3 Video-Based Feedback on Student Work: An Investigation into the Instructor
Experience, Workload, and Student Evaluations

3.3

Video-Based Feedback on Student Work: An Investigation into the
Instructor Experience, Workload, and Student Evaluations

O estudo conduzido por (Ketchum et al., 2020) utilizou uma estratégia de pesquisa mista
para avaliar a experiência dos instrutores com o feedback por vídeo, medindo a carga de
trabalho e comparando as avaliações dos alunos em cursos com e sem feedback por vídeo.
Instrutores de um programa intensivo de cinco semanas foram convidados a participar do
estudo e a registrar o tempo gasto na avaliação dos trabalhos dos alunos. Eles forneceram
feedback escrito padrão e, nos cursos designados para receber feedback por vídeo, também
gravaram vídeos de 3 a 4 minutos e utilizaram modelos pré-escritos de avaliação. O estudo
foi desenhado para entender também o impacto do feedback por vídeo no desempenho e
percepção dos alunos.
Para coletar dados qualitativos, foram realizadas pesquisas anônimas com os instrutores
que incluíam oito questões abertas sobre sua experiência com o feedback por vídeo. Os pesquisadores analisaram as respostas para identificar sentimentos positivos e negativos e extrair
temas-chave. O objetivo era obter uma visão abrangente do sentimento dos instrutores, explorar suas atitudes em relação ao tempo alocado para feedback por vídeo e entender como
essa técnica pode influenciar a conexão com os alunos e a qualidade do apoio educacional
fornecido.
Para quantificar a carga de trabalho, os instrutores utilizaram um software de rastreamento de tempo e registraram detalhes de cada sessão de avaliação em uma planilha. Os
dados coletados permitiram uma comparação entre o tempo gasto avaliando trabalhos em
cursos com feedback apenas textual e aqueles com feedback por vídeo. Os resultados dessa
medição de carga de trabalho foram complementados pela análise dos resultados do End of
Course Survey (EOCS) dos alunos, proporcionando uma visão sobre a eficácia do feedback
por vídeo em relação à percepção dos alunos sobre o curso e sua experiência educacional.
Os resultados do estudo indicaram que, embora a maioria dos instrutores tenha percebido o feedback por vídeo de forma positiva, destacando a capacidade de criar uma conexão
mais pessoal e atmosfera amigável com os alunos, houve desafios significativos relacionados ao tempo e tecnologia. Alguns instrutores expressaram preocupações com o aumento
da carga de trabalho, mencionando que o tempo necessário para preparar e carregar vídeos

3.3 Video-Based Feedback on Student Work: An Investigation into the Instructor
Experience, Workload, and Student Evaluations

era excessivo e muitas vezes não compensava, dada a falta de evidência de que os alunos
estivessem engajados ou valorizando o feedback detalhado. Além disso, questões como a
preocupação em parecer positivo, mesmo ao dar notícias negativas, e a incerteza sobre se o
estilo de entrega do feedback influenciava a receptividade dos alunos foram levantadas pelos
participantes.
Enquanto alguns instrutores sentiram que o feedback por vídeo permitia uma maior positividade e suporte ao aluno, outros questionaram sua eficácia devido à aparente falta de ação
dos alunos em relação às sugestões de melhoria. A frustração com a ausência de interação
recíproca e a percepção de um esforço desperdiçado foram comuns, com alguns instrutores
ponderando se continuariam a utilizar o vídeo sob essas condições. Embora o feedback por
vídeo possa ter ajudado a proporcionar conselhos mais acionáveis e melhorar a dinâmica de
entrega de feedback, os resultados mistos sugerem que uma implementação bem-sucedida
de feedback por vídeo pode exigir considerações adicionais sobre o tempo de preparação e
a infraestrutura tecnológica, assim como estratégias para garantir o engajamento dos alunos
com o material.
A discussão do estudo revela que a utilização de feedback por vídeo resultou em opiniões mistas entre os instrutores, com alguns encontrando valor e criando uma conexão mais
pessoal com os alunos, enquanto outros sentiram frustração devido à falta de interação e engajamento dos estudantes com o feedback fornecido. Os instrutores que tiveram experiências
positivas com o feedback por vídeo desfrutaram da oportunidade de fornecer lições verbais
e orientações específicas com mais facilidade do que o feedback apenas textual, sentindo-se
mais conectados e investidos na melhoria dos alunos. Por outro lado, alguns relataram que o
processo de criação e postagem dos vídeos era desgastante e, associado à percepção de que
os alunos não agiam com base no feedback, isso poderia levar a experiências negativas com
a presença social.
A carga de trabalho dos instrutores aumentou significativamente com o feedback por vídeo, exigindo até duas horas adicionais por semana, o que pode levar a uma redução do
tempo disponível para outras atividades importantes do ensino. Além disso, não foi encontrada uma relação significativa entre o uso de feedback por vídeo e melhores resultados nas
avaliações dos alunos (EOCS), o que poderia desmotivar os instrutores, impactando negativamente seus sentimentos em relação à presença social. As limitações do estudo incluem o

3.3 Video-Based Feedback on Student Work: An Investigation into the Instructor
Experience, Workload, and Student Evaluations

pequeno número de instrutores e cursos avaliados e a falta de avaliação sobre se os alunos
realmente assistiam aos vídeos de feedback. Apesar disso, a pesquisa ressalta que o feedback
por vídeo pode ser valioso para os instrutores que o apreciam, mas sua eficácia para melhorar
o aprendizado dos alunos ainda requer validação para justificar seu uso mais amplo.
Em conclusão, o estudo avaliou as reações pessoais dos instrutores ao deixar feedback
por vídeo e por texto, o impacto na carga de trabalho e o efeito nas avaliações dos alunos.
As experiências dos instrutores variaram amplamente, desde a percepção positiva da presença social até a frustração com o trabalho extra visto como inútil. O aumento no tempo
de trabalho para fornecer feedback por vídeo pode levar a experiências negativas de ensino,
especialmente para instrutores adjuntos que têm um número fixo de horas pagas. A ausência
de melhorias consistentes nas avaliações dos instrutores e a carga de trabalho adicional tornam difícil recomendar o uso de feedback por vídeo. No entanto, os instrutores que apreciam
essa prática não devem ser desencorajados de incorporá-la à sua pedagogia. Se o objetivo
é melhorar a aprendizagem dos alunos através do feedback por vídeo, é necessário que os
instrutores vejam alguma validação de seu trabalho para motivar tanto as instituições quanto
os próprios instrutores a adotar essa prática.
O artigo em questão tem uma relação intrínseca com o escopo desta dissertação por
explorar a percepção dos instrutores frente à carga de trabalho e ao tempo dedicado ao fornecimento de feedback, elementos que são centrais deste estudo. A avaliação da percepção
dos professores em diferentes ambientes simulados de ensino, que variam em grau de automação e manualidade, análogos aos cursos com e sem feedback por vídeo do artigo. Assim
como o artigo identificou variações na percepção dos instrutores quanto à carga de trabalho
e à conexão com os alunos por meio do feedback por vídeo, o trabalho de mestrado busca
entender como diferentes sistemas de recomendação e feedback influenciam a percepção do
esforço cognitivo e do tempo de dedicação dos professores. Em ambos os estudos, a análise
qualitativa das experiências dos instrutores/professores é fundamental para compreender os
impactos das tecnologias educacionais sobre a prática docente e a interação aluno-professor.
Além disso, a metodologia adotada no artigo, que incluiu tanto a coleta de dados qualitativos através de pesquisas com os instrutores quanto a quantificação da carga de trabalho,
espelha a abordagem que será utilizada no trabalho para examinar as interfaces e o ambiente
simulado. A preocupação com o tempo e a tecnologia, assim como a percepção de valor

3.3 Video-Based Feedback on Student Work: An Investigation into the Instructor
Experience, Workload, and Student Evaluations

do feedback pelos alunos, são considerações que se refletem diretamente neste estudo. O
escopo do trabalho, embora não envolva dados reais de cursos atuais e se concentre na simulação, pode se beneficiar dos insights do artigo sobre a importância da validação do trabalho
docente e das estratégias para garantir o engajamento dos alunos, visando a adoção efetiva
de práticas recomendadas pelas análises de learning analytics.
O artigo apresentado possui uma conexão direta com os objetivos do trabalho de mestrado, principalmente no que tange à investigação da percepção docente quanto à carga de
trabalho e ao tempo dedicado à elaboração e ao envio de feedbacks em diferentes ambientes. Assim como o estudo exploratório avaliou a experiência dos instrutores com o feedback
por vídeo, medindo a carga de trabalho e comparando as avaliações dos alunos em cursos
variados, o presente trabalho busca analisar a percepção dos professores em ambientes distintos (Automatizado, Manual e Semi-automatizado) com foco em variáveis como demanda
mental, física e temporal. A experiência relatada no artigo, em que alguns instrutores perceberam o feedback por vídeo como uma ferramenta valiosa para criar uma conexão mais
pessoal com os alunos, enquanto outros enfrentaram desafios com o tempo e a tecnologia,
reflete a dinâmica complexa que os professores podem experimentar em diferentes cenários de feedback. Além disso, a preocupação com a eficácia do feedback, a receptividade
dos alunos e o impacto no desempenho e na percepção dos alunos, observada no artigo, é
relevante para o trabalho de mestrado, que visa entender como diferentes abordagens de feedback influenciam a experiência educacional tanto do ponto de vista do docente quanto do
aluno.

4 METODOLOGIA

METODOLOGIA

4.1

Proposta

A presente dissertação tem como objetivo investigar a percepção dos docentes em relação a sua carga de trabalho e ao tempo dedicado ao uso de uma plataforma educacional
que incorpora um sistema de geração automatizada de feedbacks personalizados por meio
de Inteligência Artificial, os quais são fundamentados em indicadores obtidos a partir da Learning Analytics dos alunos. Adicionalmente, o sistema considera as avaliações feitas pelos
professores em relação aos estudantes ou grupos de estudantes. Esta pesquisa se baseia em
um estudo de caso, no qual foram desenvolvidos protótipos de interfaces com base na revisão das bases teóricas e na análise de artigos relacionados. Com isso, o trabalho em questão
se trata de uma avaliação de desempenho tendo LA como domínio de estudo e a Teoria de
Carga de Trabalho como objeto de pesquisa.
Nesta proposta, conduziremos uma pesquisa qualitativa e quantitativa, servindo como
instrumento para coletar dados sobre a carga de trabalho docente e a usabilidade do design
sugerido. O foco é na carga de trabalho do professor, caracterizando este como um estudo
experimental. Uma síntese pode ser encontrada na Tabela 4.
Tabela 4: Resumo das categorias desta pesquisa
Categorias
Palavras-chaves
Partes interessadas
Grupo de estudo
Técnicas de visualização
Métodologia
Ferramentas de coleta de
dados
Variáveis
Background teórico

Valores
Teoria da Carga de Trabalho, NASA TLX,
Dashboards, Learning Analytics.
Professores, Instrutores.
Professores, Instrutores.
Gráfico de barras, barra de progresso, feedback textual.
Combinação de Métodos, Pesquisa qualitativa e quantitativa
Estudo experimental.
Questionários/escalas. Teste NASA TLX
Demanda Mental, Demanda Física, demandas Temporal,
Performance, Esforço e Frustração, Ambientes, Gêneros.
Teoria da Carga de Trabalho

4.2

Protótipo do Ambiente Manual

4.2

Protótipo do Ambiente Manual

O protótipo do Ambiente Manual foi concebido com base na proposta de (MACHADO
et al., 2021), a qual estendeu o trabalho previamente realizado por (TENÓRIO et al., 2020)
na validação de conceitos de design. Este protótipo incorporou a visualização de painéis
de dados (dashboards) contendo informações dos alunos, utilizando os recursos existentes
na plataforma educacional. Como resultado, o protótipo oferece uma maneira simplificada
de visualização de indicadores para facilitar o processo de tomada de decisão pedagógica.
Na visualização de indicadores, os professores têm a capacidade de monitorar o desempenho
dos alunos, bem como os comentários dos alunos relacionados às aulas definidas no plano de
ensino do professor da disciplina. Além disso, o protótipo possibilita a visualização de uma
seção que exibe dados estatísticos do ambiente, incluindo informações sobre: dúvidas dos
alunos, dúvidas respondidas, porcentagem de resoluções e dúvidas pendentes. Através da
análise dessas informações, busca-se compreender a percepção dos professores em relação à
carga de trabalho necessária para avaliar e fornecer feedback a um grande grupo de alunos,
bem como a demanda de tempo associada a esse processo. Conforme a Figura 6:
Figura 6: Protótipo do Ambiente Manual - Tela Inicial

Fonte: Próprio autor
A pesquisa conduzida por (MACHADO et al., 2021) previamente implementou uma intervenção manual por parte dos professores para lidar com estudantes que enfrentavam dificuldades em algum assunto da disciplina, de acordo com critérios predefinidos. Nesse
contexto, no âmbito do protótipo manual, foi estabelecida a capacidade do professor de

4.2

Protótipo do Ambiente Manual

criar e enviar feedbacks manualmente para os alunos que ele identificar como necessitados,
baseando-se na visualização dos indicadores disponíveis nos painéis de dados previamente
apresentados. Esse desenvolvimento é de grande relevância, uma vez que amplia a funcionalidade previamente desenvolvida por (MACHADO et al., 2021), aplicada ao modelo de
atendimento às dúvidas dos alunos, com a adição da capacidade de avaliar a percepção da
carga de trabalho do professor no que diz respeito à criação de feedback para um número
maior de alunos do que o examinado no experimento conduzido por (MACHADO et al.,
2021). A Figura 7 ilustra a interface de envio de feedback no protótipo manual.
Figura 7: Protótipo do Ambiente Manual - Tela de envio de Feedback

Fonte: Próprio autor
As opções disponíveis para o envio de feedback no protótipo do ambiente manual foram concebidas com o objetivo de simplificar a atribuição da carga de trabalho do professor,
levando em consideração o nível de conhecimento sobre tecnologia. Esta abordagem é relevante em ambientes virtuais de aprendizagem, onde é crucial identificar os autores que
interagiram com o ambiente, como enfatizado por (DERMEVAL et al., 2018). As demais
visualizações e funcionalidades deste ambiente estão detalhadas no capítulo 5, que aborda
a execução pormenorizada do experimento. O propósito do protótipo no ambiente manual
é explorar a percepção do professor em relação à sua carga de trabalho na rotina de sala de
aula, em consonância com a Teoria da Carga Cognitiva de (SWELLER, 2010), de forma
semelhante ao estudo conduzido por (MACHADO et al., 2021).

4.3

Protótipo do Ambiente Automatizado

4.3

Protótipo do Ambiente Automatizado

O Protótipo do Ambiente Automatizado foi concebido como uma evolução do Ambiente Manual, conforme proposto por (MACHADO et al., 2021), com o intuito de realizar
uma comparação entre a criação manual de feedbacks e a abordagem automatizada. Nesse
contexto, o Ambiente Automatizado foi projetado para permitir que o professor acompanhasse os indicadores, enquanto a tarefa de criar feedbacks ficava a cargo de um algoritmo
ou ferramenta de Inteligência Artificial em um ambiente que incorpora Learning Analytics
(LA), reduzindo, assim, a carga de trabalho do professor ao automatizar o envio de feedbacks
(MALEKPOUR et al., 2014).
Os indicadores apresentados no protótipo do ambiente manual, conforme mostrado na
Figura 6, foram incorporados ao ambiente automatizado. No lugar da criação manual de feedbacks, o professor que utiliza o ambiente pode visualizar os feedbacks gerados e confirmar
seu envio. Essa visualização proporciona uma visão mais abrangente dos dados extraídos por
meio da LA, incluindo informações sobre os alunos matriculados, média geral, alunos com
baixo desempenho e pontuação média nos quizzes.
O objetivo principal era avaliar a percepção do professor em relação à carga de trabalho
no ambiente automatizado, em comparação com o ambiente manual, aplicando a proposta
de trabalho de (MACHADO et al., 2021) no âmbito deste estudo. A Figura 8 ilustra como
os feedbacks gerados por IA são apresentados ao professor.
Figura 8: Protótipo do Ambiente Automatizado - Tela de envio de Feedback

Fonte: Próprio autor

4.4

Protótipo do Ambiente Semi-Automatizado

O protótipo do ambiente automatizado visa implementar a arquitetura de um Ambiente
Virtual Educacional para auxiliar o professor em seu acompanhamento. Dessa forma, o professor, como uma das partes envolvidas (DERMEVAL et al., 2018), não precisa aumentar
sua participação ativa na criação de feedbacks para os alunos, concentrando-se exclusivamente no acompanhamento do plano de ensino da disciplina. Isso impacta diretamente na
percepção do professor em relação à sua carga de trabalho no ambiente automatizado.
Todas as informações são geradas a partir das interações dos alunos na plataforma, e
a IA utiliza os parâmetros definidos em conjunto com o plano de aula do professor para
recomendar, de forma totalmente automatizada, os feedbacks que atendem às necessidades
dos alunos, ampliando assim as capacidades de gerenciamento de informações por parte dos
professores (MALEKPOUR et al., 2014).

4.4

Protótipo do Ambiente Semi-Automatizado

O Protótipo do Ambiente Semi-Automatizado representa uma contribuição desta dissertação à pesquisa científica, pois combina os elementos dos protótipos do ambiente manual e
automatizado, fornecendo suporte ao professor no contexto da tomada de decisões pedagógicas (PAIVA et al., 2016). Essa combinação de elementos é incorporada em uma ferramenta
de autoria dentro de um Ambiente Virtual de Aprendizagem (DERMEVAL et al., 2018),
dotado de um mecanismo de inteligência artificial aplicado à educação, que visa apoiar os
processos de decisão humanos em vez de simplesmente automatizá-los (CUKUROVA et al.,
2019). O protótipo é complementado por um painel de Learning Analytics (LA).
A parte automatizada do sistema identifica padrões nos comentários e dúvidas dos alunos, gerando automaticamente uma lista de possíveis respostas para esses comentários. Cabe
ao professor analisar essas sugestões e decidir se deseja modificar o feedback proposto ou se
as respostas sugeridas pela automação baseada nos dados coletados pela LA são aceitáveis.
Essa abordagem, que combina a IA com o processo de tomada de decisão humana (CUKUROVA et al., 2019), permite ao professor expandir sua capacidade de gerenciar um grande
número de alunos, possibilitando uma investigação sobre sua percepção em relação à carga
de trabalho ao utilizar a plataforma educacional (DANIEL, 2020).
O protótipo do ambiente semi-automatizado apresenta apenas as sugestões de respostas
a serem enviadas pelo professor. Caso o professor não concorde com as respostas sugeridas,

4.4

Protótipo do Ambiente Semi-Automatizado

o sistema gera uma nova sugestão de resposta com base no tópico em questão e no plano
de ensino do professor (PAIVA et al., 2016). A Figura 9 ilustra a tela de envio de feedback,
mostrando as dúvidas dos alunos e as respostas sugeridas pela IA na plataforma.
Figura 9: Protótipo do Ambiente Semi-automatizado - Tela de envio de Feedback

Fonte: Próprio autor
O uso do protótipo do ambiente semi-automatizado contribui não apenas para explorar a
combinação de IA e LA na automatização de tarefas de apoio à tomada de decisões humanas
(CUKUROVA et al., 2019) e pedagógicas (PAIVA et al., 2016), mas também para investigar
a percepção dos professores em relação à carga de trabalho ao utilizar uma ferramenta que
amplia sua capacidade de interação com um grande número de alunos dentro da plataforma
educacional. A proposta deste projeto de pesquisa é a investigação de qual é a percepção dos
professores em relação a sua carga de trabalho e tempo de dedicação, na utilização de uma
plataforma educacional virtual que possui um recurso de geração de recomendações para os
alunos com base em suas questões enviadas de forma automáticas e personalizadas por IA,
combinadas com o feedback do professor para alunos ou grupos de alunos, simulados em
um estudo de caso.

5 EXPERIMENTO

EXPERIMENTO

5.1

Escopo

O estudo buscará estabelecer uma comparação entre os resultados da percepção do professor em relação ao carga de trabalho e ao tempo dedicado por ele em uma simulação de
ambiente educacional. Nesse cenário simulado, o professor terá a tarefa de avaliar um dos
três cenários propostos: Ambiente Automatizado (AA), Ambiente Manual (AM) e Ambiente Semi-automatizado (AS). Cada um desses ambientes será responsável por recomendar
ações educacionais disponíveis na simulação, por meio da criação de feedbacks no contexto
educacional por meio de informações coletadas por learning analytics.
Para realizar a avaliação do ambiente, foi desenvolvido um conjunto de interfaces, nas
quais o professor irá registrar suas percepções relacionadas ao esforço cognitivo e ao tempo
investido na utilização do ambiente simulado. É importante ressaltar que este estudo se
limita a avaliar exclusivamente a percepção dos professores, não envolvendo dados reais de
um curso que estejam ministrando como tutores. Não será coletado dados de cliques e tempo
de trabalho dos participantes.

5.2

Hipóteses

Este experimento será desenvolvido para analisar as seguintes questões de pesquisa e
hipóteses correspondentes.
QP1: Qual é a percepção dos professores sobre a carga de trabalho e seus seis fatores
(demanda mental, demanda física, demanda temporal, desempenho, esforço e frustração) no
uso combinado de feedback a alunos com dúvidas em ambientes manuais, automatizados e
semi-automatizados?
H10: Não há diferença significativa na "percepção da carga de trabalho"e seus seis fatores
(demanda mental, demanda física, demanda temporal, desempenho, esforço e frustração) dos
professores dependendo do “ambiente"que foi apresentado para eles no questionário.
H11: Há diferença significativa na "percepção da carga de trabalho"e seus seis fatores
(demanda mental, demanda física, demanda temporal, desempenho, esforço e frustração)
dos professores dependendo do “ambiente"que foi apresentado para eles no questionário.

5.3

Seleção dos Sujeitos

QP2: Qual é a percepção dos professores sobre a carga de trabalho e seus seis fatores
(demanda mental, demanda física, demanda temporal, desempenho, esforço e frustração) no
uso combinado de feedback a alunos com dúvidas em ambientes manuais, automatizados e
semi-automatizados, de acordo com o seu gênero?
H20: Não há diferença significativa na "percepção da carga de trabalho"e seus seis fatores
(demanda mental, demanda física, demanda temporal, desempenho, esforço e frustração)
dos professores dependendo do “ambiente"que foi apresentado para eles no questionário, de
acordo com o seu gênero.
H21: Há diferença significativa na "percepção da carga de trabalho"e seus seis fatores
(demanda mental, demanda física, demanda temporal, desempenho, esforço e frustração)
dos professores dependendo do “ambiente"que foi apresentado para eles no questionário, de
acordo com o seu gênero.
A Análise de Subgrupos será conduzida dividindo o grupo com base no gênero, seguindo
a abordagem de (MACHADO et al., 2021). O objetivo é realizar análises comparativas
dentro desses subgrupos para identificar padrões que não foram claros na análise geral.

5.3

Seleção dos Sujeitos

A metodologia de seleção adotada consistirá em amostragem por conveniência, que é
uma técnica de amostragem não probabilística e não aleatória usada para criar amostras de
acordo com a facilidade de acesso. Dentro do ambiente simulado, foi estabelecido um estudo
de caso que reflete uma situação em que o professor precisa realizar o monitoramento de um
grupo de alunos, com a necessidade de intervir por meio do envio de feedbacks para aqueles
estudantes que apresentam dúvidas na simulação.
O conjunto de professores, que já utilizou ou utiliza alguma plataforma educacional para
apoiar seus cursos e o acompanhamento de seus alunos, será distribuído aleatoriamente em
três grupos de maneira equilibrada, com um mínimo de 30 usuários em cada grupo, sendo
este número considerado suficiente para a coleta de dados e validação da proposta de pesquisa. Esses grupos compreendem um total esperado de 90 professores, cada um dos quais
avaliará um dos três ambientes quando acessarem o site da pesquisa, a saber: 30 professores
para o Grupo 1 - ambiente Manual; 30 professores para o Grupo 2 - ambiente Automatizado; e 30 professores para o Grupo 3 - ambiente Semi-automatizado. Cada participante

5.3

Seleção dos Sujeitos

contribuirá com feedbacks, permitindo a análise da percepção dos professores em relação ao
impacto dessas amostragens no carga de trabalho e no tempo dedicado à criação de feedbacks
para um determinado número de alunos.
Devido à natureza da pesquisa, que envolve docentes como grupo de interesse, é necessário considerar o tempo necessário para a obtenção dessas respostas. Portanto, a seleção de
docentes via e-mails iniciais abrange um período que garante que as respostas sejam recebidas de acordo com o cronograma estabelecido no projeto e que representa docentes de várias
regiões do país, permitindo uma visão abrangente das práticas de ensino em todo o território
nacional.
A pesquisa será conduzida por meio de instrumentos eletrônicos, onde os participantes
terão acesso a um site dedicado à pesquisa, contendo informações preliminares sobre o estudo. Após o início da pesquisa, os participantes serão redirecionados para um questionário
hospedado no Google Forms, que deverá ser preenchido de acordo com o ambiente atribuído
aleatoriamente. O site da pesquisa foi desenvolvido utilizando a linguagem de programação
JavaScript e React JS.
Um grupo de professores é direcionado para o AM, onde são apresentadas telas que
simulam postagens de estudantes. Nesse ambiente, os professores devem analisar individualmente cada uma das postagens dos alunos e redigir feedbacks personalizados para aqueles
que, de acordo com a simulação, apresentam dúvidas e/ou questionamentos referente ao
assunto abordado no experimento.
Outro grupo de professores é designado para interagir com o AA, no qual avaliarão um
conjunto de telas que representam uma simulação de acompanhamento com feedbacks gerados de forma totalmente automatizada. Essa avaliação envolve a análise de painéis de dados,
onde os professores serão notificados das ações realizadas pela automação e tão somente
confirmar o envio do feedback já definido.
O terceiro grupo de professores é alocado no AS, onde são apresentadas telas que oferecem recomendações de feedbacks geradas automaticamente para os professores avaliarem.
Os professores têm a opção de concordar ou discordar das sugestões de feedback propostas
pela análise automatizada, permitindo que modifiquem os feedbacks conforme necessário.

5.4

Fases do Experimento

5.4

Fases do Experimento

O campo de domínio de conhecimento abordado neste estudo destina-se a professores
que têm experiência prévia ou atual na utilização de plataformas educacionais como suporte
para seus cursos e acompanhamento de alunos. No entanto, é importante observar que os
dados utilizados neste estudo são simulados, o que requer dos professores uma análise da
situação relacionada ao acompanhamento de recursos educacionais, incluindo o uso de feedbacks para melhorar os indicadores de interação, conforme estabelecido pelos parâmetros
definidos no estudo de caso dos ambientes apresentados.
Após analisar um conjunto de telas associadas ao ambiente a que foram designados de
maneira randômica, os professores desempenharam o papel de instrutores responsáveis por
acompanhar uma turma simulada em uma plataforma on-line. Em seguida, responderão a
uma série de perguntas formuladas para explorar as hipóteses estabelecidas.
A avaliação das hipóteses será conduzida no formato on-line, por meio de convites enviados para endereços de e-mail institucionais de professores, independentemente do nível de
ensino em que atuam. Os convites incluirão informações sobre o objetivo do estudo, o código
de autorização do comitê de ética e um link para o site (https://teacher-research.netlify.app),
onde a coleta de dados do experimento será realizada. Esse processo terá a duração de um
mês e meio, a partir da aprovação do comitê de ética e da preparação do ambiente. O estudo
será conduzido em várias fases, conforme ilustrado na Figura 10.
5.4.1

Fase 1 - Seleção dos participantes

Na primeira fase, foi enviado um e-mail convite para os docentes que já possuíam alguma
experiência em alguma plataforma educacional, para as suas disciplinas e acompanhamento
dos seus alunos. No e-mail convite para participação do experimento, foi incluído no corpo
uma pequena descrição do objetivo do estudo, código de autorização do comitê de ética
(CAAE: 63528122.7.0000.5013) e o link do site https://teacher-research.netlify.app. Neste
site, o experimento procederá à seleção e alocação de docentes, de forma aleatória e balanceada, em um dentre três ambientes possíveis previamente estabelecidos.
Durante esta etapa da pesquisa, serão distribuídos aproximadamente 8.000 e-mails para
listagens de correios eletrônicos institucionais de docentes vinculados às redes estaduais

5.4

Fases do Experimento

Figura 10: Fases contempladas no Estudo Experimental

Fonte: Próprio autor
de ensino, bem como institutos e universidades federais. Cabe destacar que as instituições
educacionais disponibilizam dados em regime de acesso público, incluindo, dentre as informações referentes aos docentes, seus endereços de e-mail institucionais.
A quantidade estabelecida para o envio de e-mails objetiva garantir que as respostas à
pesquisa sejam obtidas dentro do período estipulado no cronograma do projeto. Adicionalmente, busca-se assegurar uma representatividade geográfica abrangente, incluindo docentes
de distintas regiões do país, com a finalidade de prover uma análise panorâmica das práticas
pedagógicas adotadas em âmbito nacional.
De acordo com os dados obtidos, 98 docentes atenderam ao convite, acessando o portal
eletrônico e concordando em participar integralmente da pesquisa até sua conclusão. É relevante destacar, a respeito da adesão ao experimento, que, dentre os e-mails transmitidos
para solicitação de participação, diversas circunstâncias influenciaram a taxa de resposta:
contas eletrônicas desativadas, caixas de entrada saturadas, períodos de férias ou licenças
médicas dos destinatários e declínio em participar, atribuído tanto a falta de interesse quanto
a compromissos preexistentes. A seguir, apresentamos uma representação gráfica do convite

5.4

Fases do Experimento

direcionado ao experimento na Figura 11.
Figura 11: Convite para participação do experimento

Fonte: Próprio autor
O acesso a pesquisa poderia ser feito por acesso direto ao link informado no corpo do
e-mail ou dentro do próprio convite ou através do QR-code contido no convite. Uma captura
de tela da interface do portal de pesquisa é apresentada na Figura 12.
O site foi concebido com base em um template do Bootstrap, integrado ao Firebase para
viabilizar a administração e a distribuição aleatória e equilibrada dos usuários nos ambientes
propostos. A interconexão entre o banco de dados e a plataforma web foi efetuada por meio
do framework ReactJS, e esta solução foi incorporada na seção da plataforma destinada ao
acesso aos links dos formulários. A seguir, apresentamos um trecho do código React JS

5.4

Fases do Experimento

Figura 12: Site inicial que redireciona para um do três ambientes possíveis

Fonte: Próprio autor
associado ao evento do botão que direciona ao ambiente experimental na Figura 13.
Embora a plataforma demonstrasse uma boa responsividade e compatibilidade com uma
variedade de dispositivos móveis e navegadores, nas ocasiões em que algum participante
enfrentava dificuldades de acesso à página do experimento, a recomendação fornecida era de
optar por outro navegador ou, alternativamente, por um computador.
Um desafio técnico identificado relacionava-se ao gerenciamento de balanceamento nos
formulários. Uma vez acionado o link de início da pesquisa pelo participante, o contador
automaticamente registrava um incremento para o ambiente determinado. Portanto, se o participante interrompesse a pesquisa em seu curso ou optasse por abandoná-la, o registro já
havia sido computado para o ambiente em questão. Como medida corretiva, foram conduzidas inspeções periódicas nas respostas submetidas e subsequentes ajustes nos índices de
cada ambiente no Firebase, visando assegurar o equilíbrio na coleta das respostas.
5.4.2

Fase 2 - Preparação

Durante a fase de preparação, os docentes receberão instruções acerca do objeto de investigação do experimento. Ao manifestarem concordância em contribuir, seus endereços de
correio eletrônico serão catalogados. Tal procedimento decorre de uma recomendação do comitê de ética, que identificou a necessidade de transmissão de um comprovante e diretrizes
quanto ao armazenamento das respostas prestadas durante todas as etapas da investigação
em que se envolveram. Ao permitir a retenção do e-mail para a remessa de uma cópia do

5.4

Fases do Experimento

Figura 13: Site inicial que redireciona para um do três ambientes possíveis

Fonte: Próprio autor
Termo de Consentimento Livre e Esclarecido - TCLE para Docentes (disponível na seção
de Anexos), o docente ratifica sua anuência à participação no experimento. Em seguida, a
investigação é estruturada em seções de questionários, as quais correspondem a algumas das
fases estipuladas para o experimento.
5.4.3

Fase 3 - Dados pessoais

Na terceira fase, em conformidade com as diretrizes estabelecidas pelo Comitê de Ética,
somente foram coletados dados relativos ao gênero dos participantes. A fim de garantir a
confidencialidade e a segurança das informações, detalhes como nomes e localizações foram
excluídos. Tais medidas, alinhadas às recomendações do referido comitê, têm por objetivo
não apenas proteger os dados sensíveis, mas também assegurar a veracidade da participação,
certificando-se de que o convite enviado por e-mail foi de fato aceito por um docente ou
por alguém com experiência prévia em docência. Adicionalmente, as informações coletadas
nesta etapa fornecem indicativos sobre o grau de compreensão dos participantes acerca do

5.4

Fases do Experimento

tema proposto no estudo.
5.4.4

Fase 4 - Conceitos Básicos

Na quarta etapa, incorporou-se ao experimento uma seção intitulada "Conceitos Básicos". Nesta seção, elucidaram-se e definiram-se certos termos essenciais para a construção
do ambiente e para a compreensão do objeto de estudo das hipóteses propostas. Os conceitos
foram expostos aos docentes da seguinte forma:
• Demanda Mental – atividade mental requerida para a realização do trabalho.
• Demanda Física – atividade física requerida para a realização do trabalho.
• Demanda Temporal – nível de pressão imposto para a realização do trabalho.
• Performance – nível de satisfação com o desempenho pessoal para a realização do
trabalho.
• Esforço – o quanto que se tem que trabalhar física e mentalmente para atingir um nível
desejado de performance ou desempenho.
• Nível de Frustração – nível de fatores que inibem a realização do trabalho (insegurança, irritação, falta de estímulo, estresse, contrariedades).
• Recomendação: É a oferta de recursos educacionais, que o sistema sugere ao professor.
• Explicação: É o que justifica o motivo pelo qual a recomendação de resposta foi enviada ao professor.
• Transparência: É a exposição de quem fez a recomendação, seja o professor ou o
sistema.
Os conceitos apresentados nessa fase é de suma importância para validar o nível de entendimento do professor sobre os conceitos a serem investigados na pesquisa, os conceitos
abordados foram: Demanda Mental; Demanda Física; Demanda Temporal; Performance;
Esforço; Nível de Frustração; Recomendação; Explicação e Transparência, foram atribuídos
cada um deles a uma escala de 1 (Discordo plenamente) até 5 (Concordo plenamente) para
avaliar o entendimento dos conceitos expostos.

5.4

Fases do Experimento

5.4.5

Fase 5 - Instruções do Questionário

Na fase 5, orienta-se o docente a considerar um cenário simulado de acompanhamento
pedagógico. Em cada ambiente proposto, os educadores são expostos à mesma configuração
contextual. Contudo, a modalidade de intervenção varia conforme as ferramentas de feedback concebidas para aquele ambiente específico. Ressalta-se que o docente avalia somente
um dos três ambientes, sendo designado de forma aleatória pelo site do experimento.
No contexto das instruções da simulação, o professor (participante da pesquisa), precisa
acompanhar o desempenho pedagógico dos alunos por meio das interações e garantir que
as demandas dos estudantes sejam atendidas em uma plataforma educacional, composta por
cursos de português.
Utilizando uma plataforma educacional, o professor acompanha as postagens dos alunos
como forma de auxiliar na aprendizagem. Baseando-se nas postagens e interação dos alunos, a plataforma oferece tipos de intervenções de recomendações de recursos, através de
feedbacks para os alunos, através de parâmetros cadastrados na plataforma de ensino.
O contexto apresentado foi pensado para que o professor participante não apenas considere uma turma e sim um conjunto mais amplo de alunos que ele deveria acompanhar e
intervir seja na sua falta de participação na plataforma levando em consideração a sua percepção da carga de trabalho e tempo de dedicação nas intervenções e acompanhamento na
plataforma. Na sequência é apresentado uma explicação base de cada ambiente e o conjunto
de telas da simulação de criação e acompanhamento de cada ambiente.
Ao acessar o formulário inicial de cada ambiente, o docente fará a leitura do TCLE com
todas as instruções referente ao instrumento de pesquisa e orientações definidas pelo Comitê
de Ética. Para o prosseguimento na pesquisa será necessário aceitar o termo para seguir para
etapa seguinte onde terá acesso aos conceitos básicos já comentados na Fase 4.
Envio de Feedback no Ambiente Manual (AM) – O professor participante do experimento, recebeu o seguinte texto: "Você na condição de docente de uma disciplina num
ambiente virtual educacional com muitos alunos tem como objetivo de enviar feedback para
cinco discentes com dúvidas em determinado assunto. Os discentes estão com dúvidas no
assunto de "divisão silábica"e enviaram dúvidas no ambiente virtual onde você como docente
vai ajudá-los no esclarecimento de dúvidas sobre o tópico em tela.
Fique livre para responder a quantos você desejar. Você terá acesso ao protótipo no

5.4

Fases do Experimento

link fornecido ao final da descrição. Não será necessário criar conta ou fazer login. Os dados
apresentados foram usados para simular o problema de pesquisa e evidências das dificuldades
enfrentadas por discentes em ambientes virtuais.
Este protótipo traz instruções iniciais sobre como interagir. No entanto, você é encorajado a navegar e explorar a ferramenta conforme achar adequado, tendo em vista o objetivo
previamente descrito. A fim de coletarmos informações relevantes sobre sua experiência,
solicitamos que observe as imagens apresentadas a seguir e responda às questões pertinentes sobre sua percepção de tempo e carga de trabalho associada ao uso desta plataforma.
Destacamos que a plataforma permite a personalização do feedback conforme a necessidade
individual de cada aluno."
Em seguida, o professor participante do experimento observou uma sequência de telas da
plataforma simulada para o envio dos feedbacks, que no caso, vai atualizando o painel com
o número de solicitações atendidas em cada seção abordadas na simulação. No ambiente
manual, o professor participante da pesquisa, observa a tela de visão inicial do ambiente
onde se depara com um mini-tutorial explicando cada seção do sistema, conforme a Figura
14.
Figura 14: Painel do Ambiente Manual - Visão Inicial

Fonte: Próprio autor
Na interface inicial do painel manual, o educador dispõe da funcionalidade de fornecer
feedbacks aos discentes. Estes estão organizados conforme o nome dos estudantes e categorizados pelo tópico do curso no fórum da simulação. A elaboração desses feedbacks ocorre

5.4

Fases do Experimento

Figura 15: Painel do Ambiente Manual - Áreas do Painel

Fonte: Próprio autor
na subseção "Feedback e perguntas dos alunos", ilustrada na Figura 15 (item c).
Na parte central, a interface disponibiliza um dashboard com métricas relevantes, apresentando informações quantitativas relacionadas às dúvidas dos alunos, às dúvidas respondidas, ao percentual de questões resolvidas e à contagem de dúvidas ainda pendentes, na
Figura 15 (item b).
Ao selecionar um discente para visualizar sua postagem, ao acionar o botão de detalhes,
uma janela modal é exibida. Neste modal, existe um campo destinado para comentários do
professor, que pode ser empregado para o envio de feedback ao discente em questão. Após
a inserção dos comentários pertinentes, o educador possui a alternativa de confirmar o envio
do feedback ou cancelar a operação, conforme ilustrado na Figura 16.
Caso opte pelo envio, será exibida uma mensagem de sucesso e o professor será direcionado ao painel de postagens onde o contador mostrará o número de solicitações atendidas,
na Figura 17.

5.4

Fases do Experimento

Figura 16: Painel do Ambiente Manual - Visão do Envio de Feedback

Fonte: Próprio autor
Figura 17: Painel do Ambiente Manual - Confirmação do Envio do Feedback Individual

Fonte: Próprio autor
Envio de Feedback no Ambiente Automatizado (AA) – O professor selecionado para
o experimento recebeu as seguintes instruções: "Neste ambiente, que se utiliza de técnicas
de automação e recomendação de feedbacks, sua atuação enquanto educador será primariamente a de monitoramento e confirmação. As notificações das ações, gerenciadas pelo
próprio sistema da plataforma, serão exibidas para você sem que haja uma intervenção direta. A automação, neste contexto, opera com base em configurações mínimas e padrões de
interação para determinar os feedbacks ou ações que serão encaminhadas aos estudantes.
Ao acessar o painel de dados, você encontrará informações detalhadas, como, por exemplo, quais conjuntos de alunos receberam determinados feedbacks e as subsequentes alterações no desempenho desses alunos em razão das ações implementadas. Na interface seguinte, indicadores de desempenho, com e sem as respectivas intervenções, serão evidencia-

5.4

Fases do Experimento

dos. Também, haverá registros da interação dos alunos com os feedbacks enviados de forma
autônoma pela plataforma. Será possível também verificar estatísticas relativas à porcentagem de intervenções realizadas, categorizadas por tipo de envio de feedback, tudo de acordo
com os parâmetros estabelecidos nas instruções iniciais."
Após estas orientações, o docente terá a oportunidade de visualizar diretamente a tela do
ambiente automatizado, como ilustrado na Figura 18 (item a). Neste momento, um modal
explicativo será exibido, proporcionando esclarecimentos acerca de cada seção do site.
Figura 18: Painel do Ambiente Automático - Visão Inicial

Fonte: Próprio autor
No ambiente automatizado, o docente tem acesso a um painel que fornece uma visão
ampla de diversos indicadores. Estes incluem o número de alunos matriculados, a média
geral da turma, o percentual de alunos com baixo desempenho e a pontuação percentual da
turma em atividades específicas. Tal visão pode ser visualizada na seção "Desempenho do
Aluno", conforme demonstrado na Figura 19 (item a).
O sistema apresenta, de maneira organizada, as intervenções realizadas por meio da automação da plataforma. Nessa área, são detalhadas quais ações foram automaticamente enviadas para cada grupo, baseadas nos padrões preestabelecidos de utilização. O docente
também pode, de forma prática, visualizar notificações relativas às ações automatizadas,
tanto no menu superior quanto na seção intitulada "Visão Geral". Esta última ainda dispõe
de um gráfico que contrasta as médias dos estudantes no curso com o desempenho de um
aluno selecionado, como pode ser observado na Figura 19 (item c).

5.4

Fases do Experimento

A plataforma ainda oferece ao professor uma listagem dos alunos, indicando seus respectivos nomes, médias e comentários postados, conforme ilustrado na Figura 19 (item b).
Importante destacar que o sistema concede ao docente a autonomia para fazer ajustes em
certos parâmetros, tais como as palavras-chave das postagens e os modelos de feedbacks
automatizados.
Figura 19: Painel do Ambiente Automático - Painel Docente

Fonte: Próprio autor
No ambiente em questão, o papel do docente restringe-se ao acompanhamento e à confirmação do feedback previamente disponibilizado. Conforme demonstrado na Figura 20 (item
a), não é permitido ao professor alterar a resposta gerada de forma automática.
Uma vez confirmado o envio, uma notificação de sucesso é exibida. Posteriormente,
o docente é redirecionado ao painel de postagens, onde um contador exibe o número de
solicitações atendidas, como evidenciado na Figura 21. Após esse procedimento, o professor
avança para a Fase 6 do experimento.
Envio de Feedback no Ambiente Semi-automatizado (AS) – Ao docente envolvido no
experimento, foi apresentado o seguinte texto: "Neste ambiente, você, na qualidade de educador, possui uma visão integrada dos ambientes manual e automatizado. As intervenções,
particularmente aquelas sugeridas para o envio de cinco feedbacks, dependem de sua confirmação. Isso confere ao docente uma participação ativa no processo de feedback, complementada pelas sugestões automáticas exibidas no painel de dados do sistema. Esta automatização

5.4

Fases do Experimento

Figura 20: Painel do Ambiente Automático - Visão do Envio de Feedback

Fonte: Próprio autor
Figura 21: Painel do Ambiente Automático - Confirmação do Envio em lote

Fonte: Próprio autor
opera com base em recomendações previamente cadastradas, as quais são apresentadas ao
professor em consonância com os parâmetros estabelecidos nos indicadores de interação. A
seguir, uma série de interfaces será apresentada. Caso opte por enviar um feedback proposto pelo sistema automatizado e concorde com o conteúdo sugerido, poderá encaminhá-lo
a todos os alunos ou a um grupo selecionado que se encontra listado para recebê-los. Vale
ressaltar que os estudantes listados são aqueles com dúvidas pendentes. Durante a etapa de
confirmação do envio, você possui a liberdade de modificar as informações do feedback."
A visão inicial do ambiente semi-automatizado é de acordo com o que foi exposto nas
instruções para os professores participantes do experimento, sendo que esse ambiente é a
proposta de trabalho deste projeto de pesquisa, que combina os recursos manuais e automatizados, para gerar um ambiente de acompanhamento que permita a participação ativa dos
professores, na criação e acompanhamento dos feedbacks.
Na visão inicial do ambiente, o participante tem a opção de acompanhar um tutorial

5.4

Fases do Experimento

informativo que detalha as seções do site do experimento, como podemos ver na Figura 22.
Figura 22: Painel do Ambiente Semi-automatizado - Visão Inicial

Fonte: Próprio autor
No ambiente semi-automatizado, a interface mescla elementos dos ambientes manual e
automatizado. Nesse contexto, o professor, enquanto participante da pesquisa, recebe como
sugestões feedbacks gerados por uma Inteligência Artificial. Estes feedbacks, propostos
automaticamente, aguardam avaliação e possível confirmação por parte do docente. Consoante a literatura, em particular a obra de (PAIVA et al., 2013), a integração da Inteligência
Artificial com a Inteligência Humana, direcionada ao suporte das decisões pedagógicas, potencializa a qualidade da experiência de aprendizado dos discentes.
Ao interagir com a plataforma, o professor é apresentado ao "Score do Estudante", conforme ilustrado na Figura 23 (item b). Além disso, tem acesso a um painel de controle que
fornece informações importantes acerca do desempenho dos alunos, indicadores tais como:
Dúvidas dos alunos, Dúvidas Respondidas, Percentual de Resolução das dúvidas e a quantidade de Dúvidas Pendentes; Tais métricas são projetadas para embasar o docente no processo
decisório, guiando-o sobre as intervenções pedagógicas mais adequadas para cada situação.
Dentro da seção destinada aos feedbacks e questionamentos dos alunos, o docente encontra uma relação dos discentes classificados conforme seu nível de risco nas atividades.
Tal registro é acompanhado da média obtida por cada aluno e do tempo despendido por eles
em tarefas específicas. Caso deseje fornecer feedback a determinado aluno ou a um grupo,

5.4

Fases do Experimento

o professor pode selecionar os respectivos nomes, marcando as caixas de seleção adjacentes
e, logo em seguida, acionar o botão de ação, como indicado na Figura 23 (item a).
Figura 23: Painel do Ambiente Semi-automatizado - Painel Docente

Fonte: Próprio autor
Concluindo a interação inicial no ambiente semi-automatizado, o professor visualiza um
exemplo prático de sugestão de comentário, direcionado a um grupo de estudantes cujas
postagens evidenciam dúvidas similares, em alinhamento ao relatado durante a fase de instruções. A Figura 24 retrata o momento em que o docente opta por enviar feedbacks aos
alunos selecionados, seguindo as recomendações automáticas geradas pela plataforma ou
adaptar, caso necessário.
Ao acessar a sugestão de feedback proporcionada pelo sistema de automatização, o docente tem a liberdade de modificar integralmente o texto, dado que os campos são editáveis.
Também pode determinar se o feedback será encaminhado a todos os alunos que mencionou
sobre um determinado tópico da disciplina em questão. O sistema também possibilita a personalização dos templates de feedback conforme os tópicos abordados no curso ou mediante
palavras-chave estabelecidas. Nesse contexto, qualquer modificação realizada pelo professor
é registrada pelo sistema, otimizando futuras recomendações de feedback que se alinhem aos
parâmetros ajustados.
Outra possibilidade, o docente tem a opção de direcionar um feedback a todos os discentes ou a um subconjunto específico que se qualifica para receber tal comentário. A interface
exibe os nomes dos alunos previamente selecionados. Posteriormente à revisão, o profes-

5.4

Fases do Experimento

Figura 24: Painel do Ambiente Semi-automatizado - Visão do Envio de Feedback

Fonte: Próprio autor
sor pode optar por confirmar ou cancelar o envio do feedback. Em caso de confirmação,
uma mensagem de êxito é exibida. A janela de feedback destinada a um grupo de alunos é
ilustrada na Figura 25 (item a).
Figura 25: Painel do Ambiente Semi-automatizado - Confirmação do Envio em Grupo

Fonte: Próprio autor
Prosseguindo com a análise da Figura 24, o professor é encaminhado à Fase 6 do experimento. O propósito das interfaces é simular certos procedimentos referentes à criação,
alteração e monitoramento de feedbacks. Caso o docente opte por recusar uma sugestão de
feedback, o sistema busca recomendações alternativas para apresentação. Entretanto, dada a

5.4

Fases do Experimento

natureza do estudo, cujo escopo se centra na avaliação de hipóteses relacionadas a carga de
trabalho e ao tempo de dedicação do professor na plataforma, apenas simulamos o processo
de envio de feedbacks para discentes.
5.4.6

Fase 6 - Questionários de percepção

Nesta fase, o docente participante no experimento terá a oportunidade de revisitar a interface do ambiente em que está inserido. Em seguida, será solicitado a ele que preencha
um questionário de percepção (disponível na seção de anexos). Este instrumento de coleta de dados é estruturado com itens avaliativos em uma escala que varia de 1 - (Discordo
Plenamente) a 5 – (Concordo Plenamente). Além disso, o questionário contém questões discursivas destinadas a identificar perspectivas positivas e negativas sobre o painel (dashboard)
apresentado. O propósito central desta ferramenta é compreender a percepção do docente a
respeito da carga de trabalho e do tempo de dedicação associados ao uso do ambiente experimentado.
Outro instrumento denominado NASA Task Load IndeX, igualmente localizado na seção
de anexos, será preenchido pelo docente. Este questionário tem como finalidade mensurar a
carga de trabalho e o tempo dedicado do professor, conforme descrito em (DANIEL, 2020)
e (HART ;and STAVELAND, 1988). O foco reside na percepção do professor em relação
ao ambiente em que atuou. Para cada ambiente proposto no experimento, espera-se que
os docentes reflitam acerca da simulação e respondam alinhados ao seu entendimento do
conceito em questão.
5.4.7

Fase 7 - Processo da Coleta de dados

Durante a etapa de coleta de dados, que ocorreu entre 01 de Agosto e 15 de Setembro
de 2023, um convite foi enviado por e-mail a uma lista de docentes. Em virtude de restrições na quantidade diária de mensagens enviadas, a divulgação do questionário da pesquisa
estendeu-se por cerca de 5 dias.
Desses dados foram geradas cópias de segurança para garantir a integridade dos registros
originais. Já com todas as informações consolidadas, deu-se início ao tratamento e limpeza
dos dados.
Concluída a coleta, iniciou-se a etapa de pré-processamento dos dados. Cada ambiente

5.4

Fases do Experimento

teve suas respostas compiladas em planilhas distintas, que posteriormente, foram consolidadas em um único arquivo de dados.
Inicialmente, o conjunto de dados continha 25 campos para análise, e para sua codificação, adotou-se uma nomenclatura específica para cada variável do teste NASA TLX a
saber: ND_Mental, ND_Física, ND_Temporal, N_Performance, N_Esforço e N_Frustração.
Para as perguntas do questionário de percepção, variáveis como "TMP", seguida de um número que representava a seção e a sequência da questão. Ficando mapeado as perguntas da
seguinte forma na Tabela 5.
Tabela 5: Conversão das perguntas do questionário de percepção em código
Conversão das perguntas do questionário de percepção em código
Código
TMP-01
TMP-02
SFR-01
SFR-02
OBJ-01
OBJ-02

Enunciado
Em relação ao tempo de trabalho, o ambiente manual contribuiria para
um aumento da minha produtividade no envio de feedback para os meus
alunos?
Em relação ao tempo de trabalho, no ambiente manual, a criação manual
de feedback apresentada contribuiria na minha eficiência no envio de
feedback para os meus alunos?
Em relação ao esforço cognitivo, o ambiente manual contribuiria para
um aumento da minha produtividade no envio de feedbacks para os
meus alunos?
Em relação ao esforço cognitivo, o ambiente manual, o envio de feedback criado pelo professor(a), contribuiria no meu acompanhamento da
evolução dos alunos?
Em relação ao tempo de trabalho, qual seria um ponto positivo ou negativo percebido pelo senhor(a) no ambiente manual?
Em relação ao esforço cognitivo, qual seria um ponto positivo ou negativo percebido pelo senhor(a) no ambiente manual?

Adicionalmente, dois campos foram incluídos: um identificador da resposta e outro que
especificava o ambiente (manual, automatizado ou semi-automatizado) de onde os dados
foram coletados.
Na sequência, realizou-se a discretização dos dados em escalas numéricas. As questões
de concordância foram ajustadas para uma escala de 1 a 5, enquanto as referentes ao NASA
TLX foram acomodadas em uma escala de 1 a 10. Posteriormente, uma nova coluna foi
adicionada para identificar os ambientes, com códigos numéricos de 1 a 3, representando,
respectivamente, os ambientes automatizado, semi-automatizado e manual.
Os dados referentes às questões abertas foram isolados para posterior análise qualitativa.

5.5

Riscos

Procedeu-se, então, a limpeza do conjunto de dados, removendo-se linhas desnecessárias,
ajustando tabulações e preenchendo entradas vazias com NA, de modo a evitar erros na
etapa de processamento dos dados.
Finalmente, os dados preparados foram salvos em um arquivo CSV (comma-separated
values) e importados em uma aplicação Python para o processamento final.
5.4.8

Fase 8 - Análise dos dados

Nesta fase os dados coletados serão analisados no Capítulo 6 deste projeto de pesquisa,
para a análise dos dados foram implementados alguns métodos estatísticos com ferramentas
de análise e linguagem Python e R.
5.4.9

Fase 9 - Apresentação de resultados

Na última fase, serão apresentados os resultados gerais do experimento bem como estão
relacionados com as hipóteses levantadas neste projeto de pesquisa, os detalhes da apresentação dos resultados serão expostos no Capítulo 7.
5.4.10

Critérios de Inclusão

Professores que utilizam ou utilizaram plataformas educacionais, onde o professor possa
desenvolver atividades envolvendo ações em uma plataforma on-line.
5.4.11

Critérios de Exclusão

Professores que não utilizam ou utilizaram plataformas educacionais, onde o professor
possa desenvolver atividades envolvendo ações em uma plataforma on-line.

5.5

Riscos

Podem ocorrer riscos físicos relacionados com incômodos e possíveis riscos à saúde física e/ou mental poderão estar relacionados ao uso do computador por muito tempo. Para
minimizar esse risco, a pesquisa será feita de forma clara e objetiva para evitar o uso prolongado do computador ou celular. Existe o risco de quebra de sigilo dos professores com
relação aos dados coletados durante o estudo. No entanto, os dados coletados serão todos

5.6

Benefícios

anonimizados impedindo a identificação dos participantes da pesquisa. A participação na
pesquisa prevê danos à dimensão Psíquica, Social, Cultural do ser humano e Intelectual.
Caso venha ocorrer algum dano será encaminhado para o SPA - Serviço de Psicologia Aplicada do UFAL que assumirá este papel.

5.6

Benefícios

Os benefícios esperados através da combinação do uso de inteligência artificial e humana
para criação de feedbacks em sistemas educacionais com Learning Analytics irá trazer resultados positivos para os professores em relação a sua carga de trabalho e eficiência na aplicação de um modelo específico de elaboração de feedbacks, contribuindo para proposição de
sistemas que possa auxiliar o docente em focar em sua atividade fim. A sociedade poderá
ter ganhos de sistemas virtuais educacionais mais efetivos no processo ensino aprendizagem.
Ganho de profissionais com a formação mais completa em diversas áreas do conhecimento
devido aos trabalhos derivados desta pesquisa.

5.7

Dados Utilizados no Caso de Uso

Com o uso de Inteligência Artificial Generativa foi desenvolvido uma base de dez perguntas e respostas sobre o assunto da disciplina de língua portuguesa. O assunto escolhido
para o estudo de caso foi divisão silábica do grupo da Fonologia, por se tratar de uma assunto
de fácil compreensão para o grupo alvo do experimento. O prompt usado para a criação dos
dados foi:
"Crie 10 parágrafos com até 20 palavras cada com dúvidas sobre o assunto de separação
silábica. Em seguida crie outros 10 parágrafos com até 20 palavras cada com as respostas às
dúvidas criadas anteriormente."
O propósito de criação da base, além da definição de caso de estudo para o experimento,
seria a simulação dos dados de indicadores dos discentes coletados pela LA para gerar feedbacks mais personalizados.

5.8

Metodologia de Análise de Dados

5.8

Metodologia de Análise de Dados

Os dados coletados serão analisados de maneira qualitativa e quantitativa, utilizando-se
de métodos estatísticos com o auxílio de ferramentas de softwares voltados para estatística
como por exemplo a linguagem Python. Após isso, serão gerados relatórios comparativos
para as hipóteses levantadas na pesquisa.
Na imagem da Figura 26 apresenta o caminho trilhado durante a fase de preparação e
análise de dados. Nas 8 primeiras etapas serão realizadas a coleta e preparação dos dados já
mencionados na Fase 7 do experimento.
Nas etapas 9 a 10 será feita a análise exploratória dos dados buscando verificar se premissas para o Teste ANOVA são atendidas nos dados.
A estatística descritiva dos dados será realizada para fornecer uma visão abrangente da
base de dados, analisando a frequência dos respondentes por ambiente e por gênero. As
etapas de 9 a 16 abordam a análise quantitativa dos dados e a validação das hipóteses. Inicialmente, a estatística descritiva da base de dados será calculada por ambiente e gênero. Em
seguida, os testes de Kolmogorov-Smirnov (K-S) serão aplicados para avaliar a normalidade
dos dados. Para validar a homogeneidade das variâncias será utilizado o teste de Levene.
Caso os dados sigam uma normal e sejam homogêneos, o teste ANOVA será empregado
para comparação pareada entre os ambientes e os fatores NASA TLX.
Uma seção de análise exploratória foi incorporada para fornecer um entendimento preliminar dos dados e identificar padrões. Uma análise gráfica será feita utilizando o Violin
plot, considerando os ambientes e gêneros para os fatores do NASA TLX. Além disso, o
teste NASA será calculado e seus resultados analisados por meio de histogramas. Com base
nos achados dos testes e análises, será conduzida uma validação das hipóteses. Por fim,
os resultados desses testes serão apresentados, indicando se a hipótese nula foi rejeitada ou
confirmada.

5.8

Metodologia de Análise de Dados

Figura 26: Passa-a-passo desde a coleta até o resultado das hipóteses

Fonte: Próprio autor

6 RESULTADOS E DISCUSSÕES

RESULTADOS E DISCUSSÕES
No experimento, 98 docentes participaram, e ao aplicar o algoritmo de randomização

e balanceamento dos três ambientes, a distribuição foi conforme a tabela 6. O ambiente
automatizado contou com 34 docentes (34,7%), o ambiente semi-automatizado também com
34 (34,7%), e o ambiente manual com 30 (30,6%).
Tabela 6: Frequências por Ambiente
Frequências por Ambiente
Ambiente

Frequência Percentual Percentual
Acumulado

manual
automatizado
semi-automatizado
Total

30
34
34
98

30.61
34.69
34.69
100

100.00
34.69
69.39

Dentre os participantes em relação a declaração do seu gênero 52 (53,06%) são do gênero
feminino e 46 (46,9,7%) são do gênero masculino. A distribuição da coleta dos dados em
relação ao gênero por ambiente, ficou conforme a tabela 7.
Tabela 7: Frequências por Gênero por Ambiente
Frequências por Gênero
Ambiente

Gênero

Frequência Percentual Percentual
Acumulado

manual

Feminino
Masculino
Total
Feminino
Masculino
Total
Feminino
Masculino
Total

15
15
30
18
16
34
19
15
34

automatizado
semi-automatizado

6.1

50.0
50.0
100.0
52.9
47.1
100.0
55.9
44.1
100.0

50.0
100.0
52.9
100.0
55.9
100.0

Análises Qualitativa dos Ambientes

Os docentes envolvidos participaram de uma avaliação empregando uma escala Likert de
5 pontos, objetivando mensurar o grau de concordância em relação ao tempo de dedicação

6.1

Análises Qualitativa dos Ambientes

e à carga cognitiva associados às atividades propostas no ambiente delineado. Foram quantificados aspectos referentes ao tempo de trabalho relacionado à produtividade dos docentes
no ambiente em questão; ao tempo de trabalho em consonância com a eficiência docente no
mesmo ambiente; à demanda cognitiva em relação à produtividade docente no contexto; e
à demanda cognitiva associada à supervisão discente no referido ambiente. A seguir, serão
apresentados resultados obtidos com base na escala previamente mencionada.
Na fase 5, denominada "Instrução", os docentes foram expostos a uma simulação pedagógica envolvendo uma turma apresentando diversas dúvidas. Após a análise da metodologia
de intervenção empregada pela simulação, especificamente no que tange ao envio de feedback pertinente, os docentes foram direcionados à sexta etapa, intitulada "Questionário de
Percepção". Neste segmento, responderam a quatro questões voltadas à sua percepção referente ao tempo dedicado e à carga de trabalho associada à elaboração e monitorização dos
dados dos discentes simulados, culminando na transmissão do feedback apropriado.
Os itens correspondentes ao "Questionário de Percepção"foram submetidos a um processo de codificação visando a otimização e padronização da matriz de dados acumulados.
Utilizou-se para tal a escala Likert de 5 pontos, estruturada da seguinte forma: 1 – Discordo
Plenamente; 2 – Discordo; 3 – Não concordo nem discordo; 4 – Concordo; 5 – Concordo
plenamente. Assim, para cada ambiente delineado, os participantes emitiram respostas baseadas em suas percepções ao interagir com o ambiente de simulação. Os dados codificados
foram então categorizados conforme a seguinte organização:
• O item TMP-01: "Investiga as resposta da seguinte pergunta: Em relação ao tempo de
trabalho, o ambiente em questão, contribuiria para um aumento da minha produtividade no envio de feedback para os meus alunos?"
• O item TMP-02: Analisa as respostas da questão: "Em relação ao tempo de trabalho,
no ambiente em questão, a criação de feedback apresentada, contribuiria na minha
eficiência no envio de feedback para os meus alunos?"
• O item SFR-01: Investiga acerca das respostas na pergunta: "Em relação ao esforço
cognitivo, o ambiente em questão contribuiria para um aumento da minha produtividade no envio de feedbacks para os meus alunos?"

6.1

Análises Qualitativa dos Ambientes

• O item SFR-02: Faz observações sobre as respostas da seguinte assertiva: "Em relação ao esforço cognitivo, no ambiente em questão, o envio de feedback criado pelo
professor(a), contribuiria no meu acompanhamento da evolução dos alunos?"
Foram incluídas também duas perguntas abertas, abordando aspectos positivos ou negativos dos ambientes empregados no que tange ao carga de trabalho e ao tempo de dedicação
docente. Os itens foram codificados e os dados estruturados da forma subsequente:
• O item OBJ-01: Avalia os aspectos positivos ou negativos do ambiente no que se refere
ao tempo dedicado ao trabalho.
• O item OBJ-02: Avalia os aspectos positivos ou negativos do ambiente em relação à
carga de trabalho durante o execução.
6.1.1

Análise dos dados obtidos a partir do questionário de percepção docente (Escala
Likert)

Na tabela 8, temos o agrupamento estatística descritiva da escala Likert de 5 pontos,
referente aos campos TMP-01 e TMP-02 que analisam a percepção dos professores do tempo
de trabalho em relação a sua produtividade e sua eficiência no ambiente que ele participou
do experimento.
Na tabela 9, temos a tabela de frequência o campo TMP-01 por ambiente, onde é possível
ter um retorno positivo dos professores em relação ao tempo de dedicação ao utilizar os
ambientes simulados: automatizado; manual e semi-automatizado na plataforma, para criar
e enviar feedbacks, em relação a sua produtividade no trabalho. Sendo que o ambiente
automatizado, demonstra o melhor resultado para os professores.
Na tabela 10, temos a tabela de frequência o campo TMP-02 por ambiente, onde é possível ter um retorno positivo dos professores em relação ao tempo de dedicação ao utilizar os
ambientes simulados: automatizado; manual e semi-automatizado na plataforma, para criar
e enviar feedbacks, em relação a sua eficiência no trabalho. Sendo que o ambiente "automatizado"tem o maior percentual acumulado nas categorias Likert 4 e 5, o que indica que uma
parcela significativa dos professores percebe um tempo de dedicação em relação à eficiência
positiva nesse ambiente. Isso significa que, em geral, os professores têm uma visão mais
positiva do ambiente automatizado em relação ao tempo de dedicação e eficiência.

6.1

Análises Qualitativa dos Ambientes

Tabela 8: Estatísticas descritivas da Percepção do Tempo de Trabalho dos Professores em
Relação a Produtividade e Eficiência
Estatística descritiva de TMP-01 e TMP-02
TMP-01

Contagem
Média
Desvio Padrão
Variância
Moda
Mediana
Mínimo
Máximo
25%percentil
50%percentil
75%percentil

TMP-02

Automatizado

Manual

Semiautomatizado

Automatizado

Manual

Semiautomatizado

34
4.05
0.81
0.66
4.00
4.00
2.00
5.00
4.00
4.00
4.75

30
3.39
1.16
1.35
4.00
3.50
1.00
5.00
3.00
3.50
4.00

34
3.91
1.11
1.23
4.00
4.00
1.00
5.00
4.00
4.00
5.00

34
3.88
0.80
0.65
4.00
4.00
2.00
5.00
4.00
4.00
4.00

30
3.53
0.92
0.85
4.00
4.00
2.00
5.00
3.00
4.00
4.00

34
3.97
0.90
0.81
4.00
4.00
2.00
5.00
4.00
4.00
5.00

Na tabela 11, temos o agrupamento estatística descritiva da escala Likert de 5 pontos,
referente aos campos SFR-01 e SFR-02 que analisam a percepção dos professores do esforço cognitivo em relação a sua produtividade e ao seu acompanhamento do rendimento
dos alunos, no ambiente que ele participou do experimento.
Na tabela 12, temos a tabela de frequência o campo SFR-01 por ambiente, onde é possível ter um retorno positivo dos professores em relação ao esforço cognitivo ao utilizar os
ambientes simulados: automatizado; manual e semi-automatizado na plataforma, para criar
e enviar feedbacks, em relação a sua produtividade no trabalho. Sendo que o AA tem o maior
percentual acumulado nas categorias Likert 4 e 5, o que indica que uma parcela significativa dos professores percebe um esforço cognitivo em relação à produtividade positiva nesse
ambiente.
Na tabela 13, temos a tabela de frequência o campo SFR-02 por ambiente, onde semelhantemente ao SFR-01, em relação ao acompanhamento do rendimento dos alunos no
trabalho. Sendo que o AA tem o maior percentual acumulado nas categorias Likert 4 e 5,
o que indica uma melhor percepção dos professores em relação ao acompanhamento dos
alunos nesse ambiente.
Também foi desenvolvida uma Validação Adicional incluída nas pesquisas qualitativas

6.1

Análises Qualitativa dos Ambientes

Tabela 9: Percepção do Professor do Tempo de Dedicação em relação à Produtividade nos
Ambientes (TMP-01)
Frequências por Percepção do Professor do Tempo de Dedicação em relação a
Produtividade
Ambiente

Likert

Frequência Percentual Percentual
Acumulado

automatizado

1
2
3
4
5
Total
1
2
3
4
5
Total
1
2
3
4
5
Total

0
3
1
21
9
34
2
4
8
11
6
30
2
2
4
15
11
34

manual

semi-automatizado

0.0
8.8
2.9
61.7
26.4
100.0
6.6
13.3
26.6
36.6
16.6
100.0
5.8
5.8
11.7
44.1
32.3
100.0

0.0
8.8
11.7
73.5
100.0
6.6
20.0
46.6
83.3
100.0
5.8
11.7
23.5
67.6
100.0

com duas perguntas abertas solicitando a opinião dos docentes em relação a pontos positivos e negativos sobre a demanda mental e demanda temporal visando entender melhor as
percepções dos professores em relação à carga de trabalho e aos ambientes de apresentação.
Na Tabela 14 é apresentada a frequência de palavras para primeira pergunta aberta do
questionário de percepção (OBJ-01). As palavras com maior frequência encontradas nesses
ambientes são: estudante, tempo, feedback, trabalho, docente. Isso pode indicar a preocupação do docente com seu alunado, enfatizando o tempo dedicado à elaboração de feedback,
que no final pode impactar em sua própria carga de trabalho.
Na Tabela 15 é apresentada a frequência de palavras para segunda pergunta aberta do
questionário de percepção (OBJ-02). As palavras com maior frequência encontradas nesses
ambientes são: estudante, esforço, respostas, docente, cognitivo, feedback. Semelhante à
questão anterior, pode ser um indicativo de cuidado do professor para com seus alunos, le-

6.2

Análise Exploratória de Dados

Tabela 10: Percepção do Professor do Tempo de Dedicação em relação a Eficiência nos
Ambientes(TMP-02)
Frequências por Percepção do Professor do Tempo de Dedicação
Ambiente

Likert

Frequência Percentual Percentual
Acumulado

automatizado

1
2
3
4
5
Total
1
2
3
4
5
Total
1
2
3
4
5
Total

0
3
4
21
6
34
0
5
6
16
3
30
0
3
5
16
12
34

manual

semi-automatizado

0.0
8.8
11.7
61.7
17.6
100.0
0.0
16.6
20.0
53.3
10.0
100.0
0.0
8.8
14.7
47.0
29.4
100.0

0.0
8.8
20.5
82.3
100.0
0.0
16.6
36.6
90.0
100.0
0.0
8.8
23.5
70.5
100.0

vando em consideração o esforço cognitivo demandado para responder às dúvidas da turma.

6.2

Análise Exploratória de Dados

Nesta seção foi realizada uma análise exploratória dos dados visando encontrar padrões
e relações nos dados permitindo extrair insights iniciais que possam dar suporte ao plano de
análise estatística. O gráfico de violino a seguir foi construído do com dados dos respondentes sobre os 6 fatores do questionário NASA TLX por ambiente numa escala 1 a 10.
Ao analisar o gráfico na Figura 27 da dimensão Demanda Mental (ND_Mental) do AS
apresenta maior valor, com a mediana no ponto mais alto e um range menor no Q3. A mediana está um pouco acima da metade da escala, sugerindo que a percepção média de demanda
mental é moderada a alta. Sua dispersão é de tamanho moderado, indicando uma variação
média na percepção da demanda mental entre os respondentes. Dada a posição da mediana,
parece que a maioria dos respondentes sente uma demanda mental ligeiramente acima da

6.2

Análise Exploratória de Dados

Tabela 11: Estatísticas descritivas da Percepção do Tempo de Trabalho dos Professores em
Relação a Produtividade e Eficiência
Estatística descritiva de SFR-01 e SFR-02
SFR-01

Contagem
Média
DesvioPadrão
Variância
Moda
Mediana
Mínimo
Máximo
25%percentil
50%percentil
75%percentil

SFR-02

Automatizado

Manual

Semiautomatizado

Automatizado

Manual

Semiautomatizado

34
3.74
1.08
1.17
4.00
4.00
1.00
5.00
3.00
4.00
4.00

30
3.64
1.10
1.20
4.00
4.00
1.00
5.00
3.00
4.00
4.00

34
3.79
1.07
1.14
4.00
4.00
1.00
5.00
3.00
4.00
4.75

34
4.03
0.67
0.45
4.00
4.00
3.00
5.00
4.00
4.00
4.00

30
3.96
0.84
0.70
4.00
4.00
1.00
5.00
4.00
4.00
4.00

34
3.76
0.92
0.85
4.00
4.00
2.00
5.00
3.25
4.00
4.00

Tabela 12: Percepção do Professor do Esforço Cognitivo em Relação a Produtividade nos
Ambientes(SFR-01)
Frequências por Percepção do Professor
Ambiente

Likert

Frequência Percentual Percentual
Acumulado

Automatizado

1
2
3
4
5
Total
1
2
3
4
5
Total
1
2
3
4
5
Total

1
5
4
16
8
34
2
2
6
14
6
30
1
4
6
14
9
34

Manual

Semi-automatizado

2.9
14.7
11.7
47.0
23.5
100.0
6.9
6.9
20.6
48.2
17.2
100.0
2.9
11.7
17.6
41.1
26.4
100.0

2.9
17.6
29.4
76.4
100.0
6.9
13.7
34.4
82.7
100.0
2.9
14.7
32.3
73.5
100.0

6.2

Análise Exploratória de Dados

Tabela 13: Percepção do Professor do Esforço Cognitivo em Relação ao Acompanhamento
do Rendimento dos Aluno nos Ambientes (SFR-02)
Frequências por Acompanhamento de rendimento
Ambiente

Likert

Frequência Percentual Percentual
Acumulado

automatizado

1
2
3
4
5
Total
1
2
3
4
5
Total
1
2
3
4
5
Total

0
0
7
19
8
34
1
1
2
20
6
30
0
5
4
18
7
34

manual

semi-automatizado

0.0
0.0
20.6
55.9
23.5
100.0
3.4
3.4
6.9
68.9
17.2
100.0
0.0
14.7
11.7
52.9
20.5
100.0

0.0
0.0
20.6
76.5
100.0
3.4
6.9
13.7
82.7
100.0
0.0
14.7
26.4
79.4
100.0

média ao usar o AS. Os AA e AM têm medianas similares, mas o AA tem uma amplitude
maior, indicando uma variação mais ampla nas respostas. A mediana no AA está um pouco
abaixo de 6. A distribuição dos dados é mais dispersa do que no AM, indicado pelo Q3
maior. O AM parece ter uma demanda mental mais consistente e previsível, pois o Q1 é
mais compacto e sem a evidência de outliers. Em geral, a demanda mental parece estar na
metade superior da escala em todos os três ambientes. Isso pode sugerir que, independentemente do nível de automação, os usuários ainda tem uma demanda mental significativa ao
interagir com o sistema no envio de feedbacks.
Na análise do gráfico da dimensão Física (ND_Física) o AM apresenta a maior demanda
física, com a mediana no ponto mais alto, e tem uma abrangência maior, indicando uma
variação de amplitude nas respostas. Os AA e AS têm medianas similares e bem abaixo
do AM. O AS parece ter uma demanda física mais consistente e previsível, pois o Q1 é
mais compacto. Não há evidência de outliers nos ambientes para essa dimensão. AM tem a

6.2

Análise Exploratória de Dados

Tabela 14: Frequência de palavras por ambiente para variável OBJ-01
Frequências de palavras em OBJ-01
Manual
Automatizado
Semi-automatizado
Palavras Freq.
Palavras
Freq. Palavras
Freq.
estudante
16
estudante
17
tempo
19
tempo
10
tempo
12
estudante
14
feedback
6
trabalho
9
trabalho
6
dúvidas
6
feedback
8
feedback
6
trabalho
5
docente
7
docente
6
docente
5
automatizado
7
respostas
5

Total
Palavras Freq.
estudante
47
tempo
41
feedback
20
trabalho
20
docente
18
respostas
11

Tabela 15: Frequência de palavras por ambiente para variável OBJ-02
Frequências de palavras em OBJ-02
Manual
Palavras Freq.
estudante
13
esforço
8
cognitivo
6
docente
4
podem
3
atividades
3

Automatizado
Semi-automatizado
Palavras
Freq. Palavras
Freq.
estudante
13
estudante
13
docente
6
esforço
9
automatizado
4
cognitivo
7
feedback
4
maior
4
aprendizagem
4
tempo
4
tudo
3
docente
4

Total
Palavras Freq.
estudante
39
esforço
18
respostas
18
docente
14
cognitivo
14
feedback
10

maior mediana em relação aos demais ambientes. O AA tem a distribuição concentrada em
valores mais baixos. Esta concentra-se por ser o resultado da demanda física empregada na
confecção de feedback para os alunos, ao passo que o AA simplifica esta tarefa.
No gráfico da Demanda Temporal (ND_Temporal) novamente, o AM tem a maior demanda temporal, com a mediana no ponto mais alto, apresentando uma dispersão menor em
comparação aos outros ambientes. Os AS e AA possuem medianas próximas, mas o AA tem
um range maior. O AS fica no meio entre os outros ambientes o que indica que a junção das
funcionalidade do AA com a liberdade do AM equilibra essa balança na relação do tempo
no envio de feedback. O AM foi destacado pelos participantes como aquele com a maior
exigência de tempo. A mediana se destaca como a mais elevada entre todos os cenários e
dimensões avaliadas pelo NASA TLX. A tarefa de elaborar e enviar feedbacks é demorada,
e isso foi ressaltado pelos participantes.
O Nível de Performance (N_Perfomance) apresentado na Figura 27 medianas iguais para
os 3 ambientes. O AM apresenta a maior amplitude nas respostas enquanto o AS tem uma
amplitude mais compacta. A justificativa para similaridade em todos os ambientes pode ser

6.2

Análise Exploratória de Dados

Figura 27: Gráfico Violin Plot das dimensões por Ambiente

Fonte: Próprio autor
indicada pela facilidade dos docentes em operar sistemas do tipo do AM. Essa familiaridade
atribui uma maior performance às atividades repetitivas sendo executadas a longo prazo.
Para o AA, as facilidades oferecidas nos ambientes virtuais colaboram para que as atividades sejam executadas com a maior rapidez, mas sem levar em consideração a qualidade do
feedback enviado.
Quando se analisa o Nível de Esforço (N_Esforço), fica visível que o AA apresenta a
menor mediana e pelo tamanho do Q1, boa parte dos respondentes não apresentaram muito
trabalho em interagir com este ambiente. O AS apresenta um esforço dedutível tendo um

6.2

Análise Exploratória de Dados

range mais compacto. Os AS e AM apresentam médias bem parecidas, no entanto o AM
tem a maior amplitude de respostas indicando que o nível de experiência com o sistema
pode influenciar no esforço para o envio de feedback.
No gráfico do Nível de Frustração (N_Frustração), o AM apresenta a menor amplitude
nas respostas e tem o Q1 e Q3 equilibrado denotando que um cenário já conhecido para
quem lida com esse tipo de sistema. O AM tem o nível mais alto de frustração, evidenciado
pela sua mediana. O AS apresenta a mesma equivalência do AM referente a mediana e
os quartis, porém com um range maior nas respostas. Essa variação pode ser atribuída à
combinação de funcionalidade do AM e AA que equilibram os resultados. O que leva a
crer que a participação ativa do docente no envio de feedback não apresenta um incremento
nesta dimensão e pode contribuir para feedbacks de mais qualidade na soma da IA com a
Inteligência Humana (IE).
Na análise realizada por gênero, no gráfico da Figura 28 a carga mental mediana percebida pelos homens é superior nos AA e AS em relação às mulheres, enquanto no AM as
medianas são bem próximas tanto para os homens quanto para as mulheres. As professoras apresentam maior amplitude de respostas no AA e AM, já os professores nos AA e AS.
Não parece haver uma variação significativa de carga mental entre os gêneros para qualquer
ambiente nesta dimensão. A carga física percebida no AS tem o gênero masculino percebendo uma maior demanda física em comparação com o feminino. As mulheres tendem a
perceber uma carga física ligeiramente maior no AM e menor no AA em comparação com
os homens nos respectivos ambientes. A ligeira elevação na carga física percebida no AM
para as mulheres pode indicar que elas encontram mais desafios ou passos adicionais ao usar
ambientes manuais para fornecer feedback. Talvez a interface ou o processo do AM sejam
menos intuitivos ou mais demorados. O aumento do esforço no AM pode indicar que dar
feedback manualmente é percebido como ligeiramente mais trabalhoso. A carga temporal
percebida parece ser bastante semelhante entre os três ambientes, sem variações significativas. Novamente, não há uma variação notável entre os gêneros para qualquer ambiente
nesta dimensão. A percepção da performance é bastante consistente entre os três ambientes.
As mulheres parecem ter uma ligeira variação na percepção de desempenho no AA, mas
isso pode não ser estatisticamente significativo. Na percepção de esforço existe uma ligeira
indicação de maior esforço percebido no AM em comparação com o AA. A percepção de

6.2

Análise Exploratória de Dados

Figura 28: Gráfico Violin Plot das dimensões por Ambiente por Gênero

Fonte: Próprio autor
frustração tem uma leve indicação de mediana aproximada entre os gêneros no AM. A dimensão frustração indica que os professores podem encontrar desafios ao fornecer feedback
no AM.
Outra análise realizada foi o cálculo do instrumento NASA TLX para encontrar a carga
de trabalho subjetiva percebida pelos professores no contexto de envio de feedback. Oficialmente, o teste leva em consideração as 6 dimensões onde cada uma é avaliada em uma escala
de 0 a 100, com incrementos de 5 pontos. Para o questionário aplicado foi utilizado a escala
de 1 a 10.

6.2

Análise Exploratória de Dados

Figura 29: Histograma do Teste NASA TLX por Ambiente

Fonte: Próprio autor
A Figura 29 apresenta os valores normalizados para cada dimensão do teste NASA TLX.
Na Demanda Mental o AS e AM tem o valores mais altos, sugerindo que pode ser percebido
como o mais mentalmente exigente. Os AA mostra o menor valor para esta dimensão. No
agrupamento da Demanda Física o AM tem os valores mais altos até que a média geral, indicando que é percebido como fisicamente mais exigente em comparação aos outros. Já o AA
apresenta o menor valor para esta dimensão, tendo uma diferença significativa visualmente
com AM. A Demanda Temporal no AM tem valor mais elevado, indicando uma pressão de
tempo percebida maior nesse ambiente em comparação com o AA. Esse resultado indica
que o tempo na elaboração e envio de feedback é elevado quando feito de forma manual.
O Nível de Performance apresenta valores semelhantes entre os 3 ambientes e média geral
desta dimensão, indicando que os usuários sentem que se saem melhor ou são mais eficientes nesses ambientes. O esforço percebido tem no AM seu maior valor, indicando que os
usuários podem sentir que estão se esforçando mais nesse ambiente. O AA tem o menor
valor neste fator do NASA. Já o Nível Frustração, o AM tem o maior nível de frustração,
enquanto o automatizado tem o menor, sugerindo que o AM pode ter mais desafios ou dificuldades percebidos e o AA com o menor valor deste agrupamento. O AS apresenta valores
intermediários em 4 das dimensões analisadas por ambiente.
Quando analisamos os resultados do gráfico da Figura 30 para o gênero masculino, os
valores em todas as dimensões parecem ser mais consistentes entre os ambientes, com exceção da Demanda Física e Frustração, onde o AA se destaca positivamente. No primeiro o

6.2

Análise Exploratória de Dados

Figura 30: Histograma do Teste NASA TLX por Ambiente para o Gênero Masculino

Fonte: Próprio autor
AS tem o maior valor, no segundo AM, denotando uma grande diferença visual dentro dessas dimensões, respectivamente. No geral o AS se destacou negativamente em 3 dimensões
(mental, física e esforço), o AM em duas (temporal e frustração).
Figura 31: Histograma do Teste NASA TLX por Ambiente para o Gênero Feminino

Fonte: Próprio autor
Na análise dos valores normalizados para o gênero feminino, observa-se na Figura 31
uma maior variação nos valores entre os ambientes. Em particular, o ambiente manual mostra
valores mais altos para a Demanda Mental e Física, indicando uma percepção de maior
exigência nessas áreas. Analisando de forma global, as professoras indicaram que o AM tem
valores elevados em 5 das 6 dimensões analisadas. Já para os menores valores fica dividido
entre 3 para o AA e outra metade para o AS.
A Figura 32 traz o resultado do teste NASA TLX, indicando a Carga de Trabalho por

6.3

Análise Quantitativa dos Ambientes

Figura 32: Resultado do Teste NASA TLX por Ambiente

Fonte: Próprio autor
ambiente percebida pelo grupos de participantes do experimento. Fica visível que o AM
tem, no geral, a maior carga de trabalho pode demandar mais tempo, esforço e um demanda
física maior levando muitas vezes o professor a altos níveis de frustração. Neste resultado o
AA se destaca com o menor valor de carga de trabalho, visto que os respondentes indicaram
uma redução no tempo ao realizar as atividades de envio de feedback com menor esforço,
menor demanda física e mental o que contribui para uma menor sensação de frustração.
O AS ficou entre os dois ambientes em termos de carga de trabalho e com uma diferença
bem pequena para a média geral dos 3 ambientes. Por se tratar de um ambiente que junta
a automação do AA e a possibilidade de participação ativa do docente do AM o AS tem
um resultado abaixo da média quando somado o valor de ambos os cenários. Os ganhos na
adoção deste ambiente é o envolvimento do professor no processo de ensino aprendizagem
dos alunos de forma mais direta e consequentemente tende a ter uma melhora na qualidade
dos feedbacks enviados.

6.3

Análise Quantitativa dos Ambientes

Nesta seção, apresentam-se os resultados qualitativos oriundos do questionário NASA
TLX, o qual se encontra na seção de anexos. Este instrumento foi empregado com o objetivo

6.3

Análise Quantitativa dos Ambientes

de quantificar a carga mental do docente e o esforço cognitivo, conforme postulado por (DANIEL, 2020) e (HART ;and STAVELAND, 1988). Previamente à aplicação do questionário,
foi proporcionada aos professores uma instrução detalhada acerca dos conceitos abrangidos
pelo NASA TLX, visando assegurar a correta compreensão dos termos presentes. As análises principais foram conduzidas utilizando o teste de ANOVA, tendo em vista que, ao se
contrastar os dados provenientes de três conjuntos distintos de ambientes, o referido teste
é adequado para discernir se as variâncias dos grupos são estatisticamente diferentes. As
análises foram baseadas nas seguintes informações:
• Variáveis dependentes (DV):
– Percepção da demanda mental (ND_Mental)
– Percepção da demanda física (ND_Física)
– Percepção da demanda temporal (ND_Temporal)
– Percepção de performance (N_Performance)
– Percepção de esforço (N_Esforço)
– Percepção de frustração (N_Frustração)
No presente estudo, todas as variáveis dependentes manifestaram dados qualitativo ordinal que não se ajusta à normalidade, para contornar esse cenário os dados foram discretizado.
• Variáveis independentes (IV):
– Ambiente: nas condições manual, com recomendação automática e com recomendação semi-automática.
– Gênero: nas condições feminino e masculino.
6.3.1

Análise prévia dos Dados

Foram realizados testes estatísticos para verificar a normalidade e homogeneidade das
variâncias para diferentes variáveis, premissas necessárias para realização do teste ANOVA.
No Teste Kolmogorov-Smirnov (K-S), a variável ND_Mental tem a estatística é 0.1463
com um valor-p de 0.2723, o que sugere que a distribuição não é normal (p < 0.05). A

6.3

Análise Quantitativa dos Ambientes

ND_Física conta com a estatística de 0.1141 e com um valor-p de 0.1442, indicando que não
há evidências suficientes para rejeitar a hipótese de normalidade (p > 0.05). ND_Temporal:
A estatística é 0.1335 com um valor-p de 0.0554, que está acima do limiar de significância,
sugerindo uma possível normalidade. Na variável N_Performance a estatística é de 0.1512
e o valor-p de 0.0202, indicando que a distribuição não é normal (p < 0.05). Já o N_Esforço
tem estatística é 0.1453 com um valor-p de 0.0286, o que também sugere uma distribuição
não normal (p < 0.05). Por fim, o N_Frustração apresenta a estatística em 0.1174 com um
valor-p de 0.1236, sugerindo que a distribuição pode ser considerada normal (p > 0.05).
As variáveis ND_Física, ND_Temporal e N_Frustração apresentam normalidade em suas
distribuições.
Os resultados para o Teste de Levene, conforme visto na Tabela 16 que para todas as
variáveis, os valores-p são maiores que o nível de significância típico de 0.05, o que sugere
que não há evidências suficientes para rejeitar a hipótese de que as variâncias são homogêneas entre os grupos. As variâncias são consistentes entre os diferentes grupos para todas as
variáveis testadas.
De maneira geral, a uniformidade das variâncias indica que as discrepâncias na variabilidade dos dados não influenciarão as comparações entre grupos, favorecendo a interpretação
de análises estatísticas como ANOVA ou outros métodos de comparação entre grupos. Os
testes realizados, especialmente para algumas variáveis no teste de K-S, atendem às premissas necessárias para a aplicação adequada do teste ANOVA.
Tabela 16: Resultados dos Testes de Normalidade (Kolmogorov-Smirnov) e Homogeneidade
das Variâncias(Levene)
Teste K-S
Teste Levene
Variável
Estatística (p-valor) Estatística (p-valor)
Demanda Mental
Demanda Física
Demanda Temporal
Nível de Performance
Nível de Esforço
Nível de Frustração

0.1463
0.1141
0.1335
0.1512
0.1453
0.1174

0.0270
0.1442
0.0554
0.0202
0.0286
0.1236

1.3189
0.0746
0.0016
0.1872
2.6104
2.1209

0.2723
0.9282
0.9984
0.8296
0.0788
0.1256

Os resultados da ANOVA, apresentados na Tabela 17, fornecem informações sobre as
variações entre e dentro dos grupos para as variáveis dependentes do NASA TLX em dife-

6.3

Análise Quantitativa dos Ambientes

Tabela 17: Teste ANOVA nas variáveis NASA TLX por Ambiente
Variável Testada

Sum_sq

Valor Res.

Valor de F

(p-valor)

(Rej. H0)

Demanda Mental
Demanda Física
Demanda Temporal
Nível de Performance
Nível de Esforço
Nível de Frustração

10.697
42.843
39.738
0.225
24.238
9.842

805.26
687.23
733.43
643.08
631.56
623.03

0.6110
2.8677
2.4923
0.0160
1.7654
0.7266

0.5449
0.0619
0.0883
0.9840
0.1769
0.4863

Não
Sim
Sim
Não
Não
Não

rentes ambientes (Manual, Automatizado, Semi-automatizado). Para a variável ND_Mental,
a soma dos quadrados entre os grupos sum_sq é ⇡10.7, com 2 graus de liberdade; a soma
dos quadrados residuais é ⇡805.26, com 90 graus de liberdade; e o valor de F é ⇡0.61,
indicando que não existe uma variação significativa entre os grupos em comparação à vari-

ação interna para a variável ND_Mental. O p-valor é ⇡0.545, significativamente acima do
nível de significância estabelecido em 0.1, o que sugere ausência de diferenças estatísticas
significativas no ND_Mental entre os ambientes.
Para ND_Física, o valor de F é ⇡2.87 e o p-valor é ⇡0.062, situando-se no limite do nível

de significância estipulado, sugerindo uma possível diferença significativa entre os grupos.

Similarmente, para ND_Temporal, o valor de F é ⇡2.49 e o p-valor é ⇡0.088, indicando
diferenças significativas ao nível de significância definido.

Quanto à variável N_Performance, o valor de F é notavelmente baixo, cerca de 0.016,
e o p-valor é ⇡0.984, apontando para uma inexistência de diferenças significativas entre os
grupos. N_Esforço apresenta um valor de F ⇡1.76 e um p-valor de ⇡0.177, reforçando a
falta de evidências de diferenças significativas. Por fim, N_Frustração tem um valor de F

⇡0.726 e um p-valor de ⇡0.486, deixando claro a ausência de diferenças significativas entre
os grupos.

De acordo com o teste ANOVA, não existem evidências suficientes para rejeitar a hipótese nula de inexistência de diferenças entre os ambientes na maioria das variáveis dependentes, exceto ND_Física e ND_Temporal, onde o p-valor se situa abaixo do limiar de
significância convencional. Considerando a maioria dos valores de F baixos e os p-valores
altos, conclui-se que o tipo de ambiente não afeta significativamente a maioria das variáveis
dependentes ao nível de significância de 0.1.
Nos testes de intergrupos apresentados na Tabela 18, na ND_Física, o Tukey HSD indica

6.3

Análise Quantitativa dos Ambientes

Tabela 18: Resultados ajustados dos testes de Tukey e Bonferroni
Testes de Tukey
Variável

Grupo 1

Grupo 2

Dif. Méd.

Automatizado Manual
1.6294
Automatizado Semi-auto 0.4706
Manual
Semi-auto -1.1588
Automatizado Manual
1.5882
Dem.
Automatizado Semi-auto 0.6471
Temporal
Manual
Semi-auto -0.9412
Dem.
Física

Teste Bonferroni

p-adjT

p-adjB

p-adj
Cor.

Rej.H0

0.0599
0.7713
0.2343
0.0652
0.6073
0.3744

0.0257
0.4957
0.1020
0.0280
0.3370
0.1862

0.077
1.000
0.306
0.084
1.000
0.558

Sim
Não
Não
Sim
Não
Não

uma diferença significativa entre o AA e o AM (p-adj = 0.0599, menor que a taxa de erro
familiar (FWER) de 0.10), o que implica que a média do ND_Física é significativamente diferente entre esses dois grupos. Para ND_Temporal, o Tukey também mostra uma diferença
significativa entre o AA e o AM (p-adj = 0.0652, menor que o FWER de 0.10). Os resultados
ajustados pelo Bonferroni para ND_Física e ND_Temporal mostraram diferenças significativas entre os grupos, pois os p-valores ajustados (0.077 e 0.084) são menores que o nível
de significância de 0.1. Os resultados indicam que há possíveis diferenças nas médias de
ND_Física e ND_Temporal entre os AA e AM. O Tukey e o Bonferroni sugerem diferenças
significativas.
Tabela 19: Resultados da ANOVA para a interação entre ambiente e gênero nas variáveis
dependentes do NASA TLX.
Variável

Sum_sq

Valor de F

p-valor

Rej. H0

Demanda Mental
Demanda Física
Demanda Temporal
Nível de Performance
Nível de Esforço
Nível de Frustração

1.5750
58.9933
4.9524
10.9367
7.0544
23.7668

0.0899
3.9486
0.3106
0.7823
0.5138
1.7547

0.9140
0.0226
0.7337
0.4603
0.5999
0.1786

Não
Sim
Não
Não
Não
Não

A Tabela 19 fornece os resultados das análises de variância (ANOVA) por ambiente e por
gênero em relação a várias variáveis dependentes do NASA TLX. Na variável ND_Mental
a diferença entre ambiente e gênero não é estatisticamente significativa (p = 0.9140). Isso
sugere que, para a carga de trabalho mental, não há diferenças significativas que possam ser
atribuídas simultaneamente ao ambiente e ao gênero.

6.3

Análise Quantitativa dos Ambientes

A ND_Física tem a interação entre ambiente e gênero é estatisticamente significativa (p
= 0.0226), indicando que a demanda física percebida pode ser afetada pela combinação de
ambiente e gênero. Tendo o valor p é menor que 0.1, há evidências suficientes para sugerir
que a interação dos fatores tem um efeito significativo na carga de trabalho física.
Já com a ND_Temporal não há interação significativa entre ambiente e gênero (p =
0.7338) em relação à carga de trabalho temporal. O fator N_Performance tem uma relação de interação entre ambiente e gênero não estatisticamente significativa (p = 0.4604) para
a variável de performance. N_Esforço: A interação entre ambiente e gênero também não é
significativa (p = 0.5999) para o esforço. A percepção do esforço não parece ser influenciada pela combinação de ambiente e gênero. O N_Frustração apresenta que a interação entre
ambiente e gênero não é significativa (p = 0.1787) para a frustração. Embora o valor p esteja
relativamente mais próximo do limiar de 0.1 em comparação com outras variáveis, ainda
assim não é suficientemente baixo para indicar uma interação significativa entre os fatores.
A única variável onde a interação entre ambiente e gênero foi significativa é a
"ND_Física". Isso pode sugerir que homens e mulheres podem experimentar a carga de trabalho física de maneira diferente dependendo do ambiente em que estão trabalhando. Para as
outras variáveis (ND_Mental, ND_Temporal, N_Performance, N_Esforço, N_Frustração),
não parece haver uma interação significativa entre ambiente e gênero que afete a percepção
dos indivíduos. O fato de apenas uma das variáveis mostrarem uma interação significativa
pode indicar que os efeitos do ambiente e do gênero são mais independentes do que combinados, exceto no caso da carga de trabalho física.
No teste de Tukey, considerando o nível de significância de 0.1, tem-se que a comparação
entre os grupos Manual_Feminino vs. Semi-automatizado_Feminino tem diferença na média
de -2.7228, com um valor-p ajustado de 0.0536. Com um alpha de 0.1, esta diferença é
considerada estatisticamente significativa, indicando que há uma diferença significativa nos
escores de ND_Física entre mulheres em ambientes manuais e semi-automatizados.
Na comparação entre Semi-automatizado_Feminino vs. Semi-automatizado_Masculino:
a diferença média é 2.7895, com um valor-p ajustado de 0.0445. Esta diferença também
é estatisticamente significativa, sugerindo que há uma diferença nos escores de ND_Física
entre mulheres e homens em ambientes semi-automatizados.
Para os outros pares de comparação dispostos na Tabela 20, onde "Rejeita H0"é Não,

6.3

Análise Quantitativa dos Ambientes

Tabela 20: Resultado do Teste de Tukey HSD para o fator Demanda Física NASA TLX por
ambiente por gênero
Grupo 1

Grupo 2

Méd_Dif

p-adj

Lower

Upper

Rej.
H0

Automatizado_Fem.
Automatizado_Fem.
Automatizado_Fem.
Automatizado_Fem.
Automatizado_Fem.
Automatizado_Masc.
Automatizado_Masc.
Automatizado_Masc.
Automatizado_Masc.
Manual_Fem.
Manual_Fem.
Manual_Fem.
Manual_Masc.
Manual_Masc.
Semi-auto_Fem.

Auto_Masc.
Manual_Fem.
Manual_Masc.
Semi-auto_Fem.
Semi-auto_Masc.
Manual_Fem.
Manual_Masc.
Semi-auto_Fem.
Semi-auto_Masc.
Manual_Masc.
Semi-auto_Fem.
Semi-auto_Masc.
Semi-auto_Fem.
Semi-auto_Masc.
Semi-auto_Masc.

-0.2986
1.8222
1.1556
-0.9006
1.8889
2.1208
1.4542
-0.602
2.1875
-0.6667
-2.7228
0.0667
-2.0561
0.7333
2.7895

0.9996
0.4045
0.8313
0.9162
0.3635
0.2671
0.6775
0.9868
0.2357
0.9850
0.0536
1.0000
0.2580
0.9771
0.0445

-2.7699 2.1727 Não
-0.6923 4.3368 Não
-1.3590 3.6701 Não
-3.2664 1.4652 Não
-0.6257 4.4034 Não
-0.4642 4.7058 Não
-1.1308 4.0392 Não
-3.0425 1.8385 Não
-0.3975 4.7725 Não
-3.2930 1.9597 Não
-5.2071 -0.2385 Sim
-2.5597 2.6930 Não
-4.5404 0.4282 Não
-1.8930 3.3597 Não
0.3052 5.2738 Sim

a diferença nos meios não é estatisticamente significativa no nível alpha definido. Podese concluir que, com base nos dados e no teste realizado, não há evidência suficiente para
afirmar que as diferenças observadas são devidas a algo além da variação aleatória.
6.3.2

Testes de Hipóteses

• H1(nula): Não há diferença significativa na "percepção da carga de trabalho"e seus seis
fatores (demanda mental, demanda física, demanda temporal, performance, esforço e
frustração) dos professores dependendo do "ambiente"que foi apresentado para eles
no questionário.
• H2(nula): Não há diferença significativa na "percepção da carga de trabalho"e seus seis
fatores (demanda mental, demanda física, demanda temporal, performance, esforço e
frustração) dos professores dependendo do “ambiente"que foi apresentado para eles
no questionário, de acordo com o seu "gênero".

6.3

Análise Quantitativa dos Ambientes

6.3.3

Resultados das Hipóteses

Para H1, Testes ANOVA com variáveis independentes entre sujeitos “Ambientes” (automatizado, manual, semi-automatizado) foram realizados para determinar diferença estatisticamente significativa nas variáveis dependentes “Demanda Mental”, “Demanda Física”,
“Demanda Temporal”, “Nível de Performance”, “Nível de Esforço”, “Nível de Frustração”
e testes de Tukey e Bonferroni para comparação intergrupo. Para a variável dependente Demanda Mental, não houve efeitos estatisticamente significativos. Para variável dependente
Demanda Física, houve efeitos estatisticamente significantes na comparação pareada do Ambiente Manual com o Ambiente Automatizado com valor p = 0.060 para o teste de Tukey e
valor p corrigido = 0.077 para o teste de Bonferroni. Para a variável dependente Demanda
Temporal, houve efeitos estatisticamente significantes na comparação pareada do Ambiente
Manual com o Ambiente Automatizado com valor p = 0.065 para o teste de Tukey e valor p
corrigido = 0.084 para o teste de Bonferroni. Para a variável dependente “Nível de Performance”, não houve efeitos estatisticamente significantes. Para a variável dependente “Nível
de Esforço”, não houve efeitos estatisticamente significantes. Para a variável dependente
“Nível de Frustração”, não houve efeitos estatisticamente significantes.
Os resultados apresentados na Tabela 17 e Tabela 18 mostram as diferenças estatísticas
dos grupos mencionados. Também os resultados do teste NASA TLX na Figura 29 evidencia visualmente essas diferenças estatisticamente significantes nos ambientes já mencionados para as dimensões ND_Física e ND_Temporal. Resultando para H1, que a percepção
dos professores apresenta diferença significativa na "percepção da carga de trabalho"e seus
seis fatores (demanda cognitiva, demanda física, demanda temporal, desempenho, esforço e
frustração).
Para a hipótese H2, foram conduzidos Testes ANOVA com variáveis independentes entre
sujeitos "Ambientes"(automatizado, manual, semi-automatizado) e "Sexo"(Feminino, Masculino) a fim de discernir diferenças estatisticamente significantes nas variáveis dependentes: "Demanda Mental", "Demanda Física", "Demanda Temporal", "Performance", "Nível
de Esforço", "Nível de Frustração". Para a variável dependente Demanda Mental, não houve
efeitos estatisticamente significativos. Para variável dependente Demanda Física, houve efeitos estatisticamente significantes na comparação em os grupos do Ambiente Manual com o
Ambiente Semi-automatizado para gênero Feminino com valor p = 0.053 e para os Am-

6.4

Discussões

bientes Semi-automatizado e para o gênero Feminino e Masculino com valor p = 0.046
no mesmo ambiente. Para a variável dependente Demanda Temporal, não houve efeitos
estatisticamente significantes. Para a variável dependente “Performance”, não houve efeitos estatisticamente significantes. Para a variável dependente “Esforço”, não houve efeitos
estatisticamente significantes. Para a variável dependente “Frustração”, não houve efeitos
estatisticamente significantes.
Para apoiar esses resultados a Tabela 19 e Tabela 20 trazem em destaque as diferenças
estatísticas dos pares mencionados. Juntamente com os resultados do teste NASA TLX por
gênero nas Figura 30 e Figura 31 confirmando visualmente essas diferenças estatisticamente
significantes nos ambientes citados anteriormente para a dimensão ND_Física. Resultando
para H2, infere-se parcialmente que, a percepção do docente em relação ao gênero apresenta diferença significativa na "percepção da carga de trabalho"e seus seis fatores (demanda
cognitiva, demanda física, demanda temporal, desempenho, esforço e frustração).

6.4

Discussões

6.4.1

Discussão das estatísticas descritivas e análise qualitativa

Nos resultados das frequências apresentadas na tabela 6 e 7 percebe-se que o experimento
conseguiu uma adesão expressiva de docentes em estudos desse tipo. O gênero feminino teve
maior participação entre os respondentes.
Na estatística descritiva apresentada na tabela 8, que mostra a percepção do tempo de trabalho dos professores em relação à produtividade e eficiência para duas variáveis (TMP-01
e TMP-02) nos três ambientes de trabalho (Automatizado, Manual e Semi-automatizado),
as médias nos ambientes sugere que os professores percebem o tempo de trabalho como
mais eficiente no ambiente Automatizado para a variável TMP-01. As médias para a variável TMP-02 indicam uma percepção ligeiramente superior de eficiência ou produtividade no
ambiente Semi-automatizado. O desvio padrão e a variância são maiores no AM para ambas
as variáveis, indicando uma maior variação nas respostas dos professores neste ambiente.
Isso pode refletir uma inconsistência ou diferenças nas experiências de trabalho neste ambiente. Para todas as categorias e ambas as variáveis, a moda e a mediana são consistentemente
4.00, o que sugere uma tendência geral dos professores de classificar a eficiência ou produ-

6.4

Discussões

tividade como alta. Os percentis 25% e 75% mostram que, em geral, as avaliações tendem a
agrupar-se em torno dos valores superiores, especialmente no AA e AS, sugerindo uma percepção geral positiva nestes ambientes. Há uma tendência dos professores em perceber uma
maior eficiência e produtividade nos AA e AS em comparação com o AM. A maior variação
no ambiente Manual sugere que a experiência dos professores neste ambiente é mais heterogênea, podendo ser influenciada por uma série de fatores distintos. A consistência da moda e
mediana em 4.00 para todas as categorias indica uma tendência geral positiva na percepção
de eficiência e produtividade.
As tabelas 9 e 10 apresentaram dados sobre a percepção dos professores quanto ao tempo
de dedicação em relação à produtividade (TMP-01) e eficiência (TMP-02), em diferentes
ambientes de trabalho, com base numa escala Likert. Onde, para TMP-01, no AA a maioria
dos professores classificou sua percepção de produtividade como alta (4 na escala Likert).
No AM a distribuição das respostas é mais uniforme tendo a maior proporção que também
classificou a produtividade como alta (4). O AS teve as respostas mais concentradas nas
pontuações 4 e 5, indicando uma percepção positiva da produtividade. Já para a variável
TMP-02, o AA se assemelha ao TMP-01, a maioria classificou a eficiência como alta (4),
seguida por uma pontuação de 5, sugerindo uma percepção positiva de eficiência nesse ambiente. O AA com maior proporção atribuiu uma pontuação de 4, com a segunda maior
proporção atribuindo 3, indicando uma percepção levemente menos positiva de eficiência
em comparação com o AA. O AS ficou com a distribuição mais equilibrada entre as pontuações 4 e 5, com uma tendência mais positiva do que nos AA e AM. Em todos os ambientes,
as percepções dos professores sobre produtividade e eficiência tendem a ser positivas, com a
maioria das respostas concentradas nas pontuações mais altas da escala Likert. O AA é percebido como ligeiramente mais positivo em termos de produtividade e eficiência, enquanto
o AM apresenta uma percepção um pouco mais moderada. O AS parece ser bem avaliado
em termos de eficiência, indicando que a combinação de automação e intervenção humana
pode ser eficaz na percepção dos professores.
Já na tabela 11 da estatísticas descritivas para as variáveis SFR-01 e SFR-02, que representam a percepção do tempo de trabalho dos professores em relação à produtividade e
eficiência, distribuídas em três ambientes de trabalho diferentes. Na variável SFR-01 (Percepção do Tempo de Trabalho em Relação à Produtividade), as médias estão próximas em

6.4

Discussões

todos os ambientes, sugerindo que a percepção dos professores sobre a produtividade é moderadamente positiva em todos os ambientes. O desvio padrão e a variância são semelhantes
nos três ambientes, indicando uma consistência na variação das respostas dos professores
com a moda e mediana em 4.00 em todos os ambientes, o que reflete uma tendência de percepção positiva sobre a produtividade. Na análise da variável SFR-02 (Percepção do Tempo
de Trabalho em Relação à Eficiência), as médias são um pouco mais altas do que para SFR01, especialmente no AA e AM, sugerindo uma percepção ligeiramente mais positiva da
eficiência. O desvio padrão e a variância são menores para SFR-02, especialmente no AA,
indicando uma maior consistência nas percepções de eficiência. Os professores tendem a
perceber tanto a produtividade quanto a eficiência de forma positiva em todos os ambientes.
A variação nas percepções de eficiência é menor, indicando que os professores têm experiências mais consistentes em relação à eficiência em comparação com a produtividade. A
percepção de eficiência é particularmente alta no AA, o que pode sugerir que a tecnologia e a
automação têm um impacto positivo na eficiência percebida. As percepções dos professores
não variam drasticamente entre os diferentes ambientes, indicando que fatores além do tipo
de ambiente podem influenciar significativamente a percepção do tempo de trabalho.
As tabelas 12 e 13 mostram a percepção dos professores sobre o esforço cognitivo em
relação à produtividade (SFR-01) e ao acompanhamento do rendimento dos alunos (SFR-02)
em três ambientes diferente. Na variável SFR-01, o AA boa parte dos professores perceberam um esforço cognitivo moderado, seguido por uma percepção de esforço mais alto. O
AM tem maior frequência no Likert 4, indicando um esforço cognitivo moderado, seguido
por uma percepção mais alta de esforço para Likert 5. O SM têm percepções semelhantes
ao AA, com a maioria indicando esforço moderado e um número significativo percebendo
um esforço mais alto para Likert 5. Analisando a variável SFR-02 no AA tem a maioria
dos professores percebe um esforço cognitivo moderado ao acompanhar o rendimento dos
alunos, com um número significativo percebendo um esforço mais alto para Likert 5. O AM
a percepção é predominantemente de um esforço moderado, com menores percentuais distribuídos entre as outras categorias. No AS a maioria percebe um esforço cognitivo moderado,
com um número significativo percebendo um esforço mais alto para Likert 5). Em todos os
ambientes, a tendência é que os professores percebam um esforço cognitivo moderado, tanto
em relação à produtividade quanto ao acompanhamento do rendimento dos alunos. Os am-

6.4

Discussões

bientes AS e AA parecem induzir percepções semelhantes quanto ao esforço cognitivo, com
uma inclinação um pouco maior para um esforço mais alto no AS. O AM, apesar de também
ter uma tendência para um esforço moderado, tem uma distribuição mais uniforme entre
as diferentes percepções de esforço. Essas percepções podem indicar que a automação e a
semi-automatização ajudam a gerenciar o esforço cognitivo dos professores, potencialmente
tornando as tarefas menos onerosas.
Nas tabelas 14 e 15 que trazem a frequência de palavras mencionadas em dois conjuntos
de dados, OBJ-01 e OBJ-02, em três ambientes diferentes. Para OBJ-01 as palavras comuns
foram: "Estudante"e "tempo"são as palavras mais frequentes em todos os ambientes, sugerindo que o foco está fortemente nos estudantes e no gerenciamento do tempo. No AM,
além de "estudante"e "tempo", palavras como "feedback"e "dúvidas"são comuns, indicando
uma ênfase no feedback e na resolução de dúvidas. O AA tem palavras como "trabalho",
"docente"e "automatizado"destacam-se, sugerindo uma discussão sobre o trabalho do docente em um ambiente automatizado. No AS, "Tempo"é a palavra mais frequente, seguida
por "estudante"e "trabalho", indicando um foco no gerenciamento do tempo e no trabalho
do estudante. Na tabela da variável OBJ-02 tem a palavra comum "Estudante", reforçando
o foco nos estudantes em todos os ambientes. No AM, palavras como "esforço", "cognitivo"e "docente"são frequentes, indicando uma preocupação com o esforço cognitivo e o
papel do docente. Já o AA, palavras como "docente", "automatizado"e "feedback"são destacadas, sugerindo uma ênfase na interação docente-tecnologia e feedback. O AS tem palavras
"Esforço", "cognitivo"e "maior"são frequentes, indicando preocupações com o esforço cognitivo e possivelmente um aumento no esforço em ambientes semi-automatizados. Há um
claro foco nos estudantes e na gestão do tempo em todos os ambientes, o que sugere que estas
são preocupações universais independentemente do tipo de ambiente de trabalho. O esforço
cognitivo é uma preocupação especialmente nos AM e AS, talvez refletindo os desafios de
ensino e aprendizagem nesses contextos. O AA parece estar mais focado na interação entre
tecnologia e docente, enquanto o AS traz à tona questões sobre esforço e eficácia.
Nas estatísticas descritivas, observa-se que o AA é percebido como mais eficiente em
termos de tempo de trabalho, enquanto o AS destaca-se ligeiramente na produtividade. A
maior variação de respostas no AM sugere experiências mais heterogêneas, refletindo possivelmente a natureza física e manual desse ambiente. A análise qualitativa, focada na per-

6.4

Discussões

cepção dos professores em relação ao esforço cognitivo e acompanhamento do rendimento
dos alunos, mostra uma tendência ao esforço cognitivo moderado, com o AA e AS induzindo percepções semelhantes, enquanto o AM apresenta uma distribuição mais uniforme
das percepções. A frequência de palavras nas análises qualitativas reflete um foco comum
nos estudantes e no gerenciamento do tempo em todos os ambientes, com nuances específicas em cada ambiente, como a ênfase na interação docente-tecnologia no AA e questões
de esforço e eficácia no AS. Esses resultados indicam que enquanto a automação e semiautomação podem ajudar na gestão do esforço cognitivo, há desafios específicos associados
a cada tipo de ambiente que influenciam a percepção dos professores sobre produtividade e
eficiência.
6.4.2

Discussão da análise exploratória

Da análise dos gráficos das 6 dimensões do NASA TLX por ambiente da Figura 27 podese concluir que o AA tende a menor demanda mental, temporal, esforço e frustração; o AM
apresenta a maior demanda física, temporal e tendo a frustração mais esperada; o AS geralmente fica entre os outros dois ou com medianas parecidas em termos de demandas física,
temporal, performance, esforço e frustração, sugerindo que ele equilibra características dos
AA e AM. Isso pode indicar que, enquanto a automação pode reduzir algumas demandas no
envio de feedback, ela pode introduzir novas complexidades que aumentam outras demandas. O AM, por outro lado, embora possa ser fisicamente mais exigente e frustrante, pode
proporcionar aos usuários uma sensação de maior controle e eficácia.
Os participantes expressaram uma maior demanda física no AM, esse fato sugere que
os professores podem estar escrevendo feedbacks manualmente ou passando mais tempo
navegando entre telas em ações repetitivas, ao contrário de usar interfaces com automações.
O AM exige mais do professor em termos de tempo. Isso pode indicar que os sistemas com
funções manuais, têm atividades mais repetitivas ou mais demoradas para navegar em seu uso
cotidiano. A frustração controlada no AM pode indicar que, embora os professores possam
sentir que estão fornecendo feedback de qualidade, o processo pode ser demorado, repetitivo
ou ineficiente. A baixa demanda mental pode indicar que, no AM é mais simples e direto,
pode não ser tão eficiente em termos de tempo, recursos e ferramentas para dar feedback de
forma rápida e abrangente. A performance percebida pode indicar que os professores sentem

6.4

Discussões

que podem fornecer feedback mais personalizado e detalhado neste ambiente. No entanto,
isso pode vir à custa de um processo mais demorado.
A maior sensação de performance no AA sugere que os professores podem sentir que a
automação no envio do feedback é mais eficaz do que quando dado manualmente. A alta demanda de esforço no AA sugere que por mais domínio que o professor tenha da ferramenta,
ainda sim é mais trabalhoso fornecer feedback por meio desse sistema, pois requer um certo
esforço cognitivo para assimilar as postagens e processar o feedback mais adequado. A baixa
demanda mental e o esforço em ambientes mais automatizados podem indicar uma curva de
aprendizado para os professores ao se adaptarem a ferramentas e interfaces mais complexas
no AA.
A semi-automação requer que o professor se ajuste e compreenda um novo sistema ou
plataforma, levando a uma maior demanda mental, podendo indicar também que os professores acham desafiador usar ferramentas automatizadas para responder a perguntas específicas
dos alunos. Isso sugere que, inicialmente, pode haver uma curva de aprendizado íngreme ao
adotar ferramentas semi-automatizadas. A alta demanda mental no AS sugere que, embora
haja automação em algumas partes, ainda pode haver um grau significativo de envolvimento
e atenção necessários por parte do professor. O nível frustração neste ambiente sugere que,
enquanto a automação pode trazer eficiência em algumas tarefas, ela também pode introduzir
complexidade ou problemas que os professores acham desafiadores ou irritantes.
Na análise por gênero da Figura 28, os três ambientes têm percepções de carga de trabalho bastante semelhantes nas seis dimensões, com algumas exceções menores. Em relação
ao gênero, em geral, com exceção da dimensão Nível de Frustração, as professoras apresentaram medianas menores nas demais dimensões para os AA e AS e medianas maiores
ou bem próxima ao dos professores no AM. Isso pode expressar uma familiaridade dos
professores ao lidar com sistemas educacionais manuais que demandam mais atividades manuais enquanto as professoras conseguem performar melhor em sistemas com automação ou
semi-automação. Há variações nas percepções das diferentes dimensões do NASA TLX em
relação ao ambiente e gênero. Em alguns casos, as diferenças são sutis, enquanto em outros,
as diferenças são mais pronunciadas.
Em comparação direta entre os gêneros realizada nos teste NASA TLX nas Figuras 30 e
31, com exceção da dimensões frustração, os valores para o gênero feminino são geralmente

6.4

Discussões

mais altos no ambiente manual em comparação com o masculino. Isso pode sugerir que as
mulheres encontram mais desafios ou percebem uma maior carga de trabalho no ambiente
manual em comparação aos homens. Já os homens apresentam altos valores nos ambientes
AS e AA combinados, denotando um certo grau de dificuldade na curva de aprendizagem
em ambiente que se propõe a automatizar feedbacks.
Uma alta Demanda Temporal no AM sugere que os professores podem estar sentindo
pressão para responder em tempo hábil. Isso pode afetar a qualidade do feedback. Se as mulheres percebem uma maior Demanda Física e Mental no ambiente manual, talvez existam
características nesse ambiente que não sejam amigáveis ou adaptadas às necessidades específicas delas. Se o AA é percebido como tendo menor Demanda Física e Frustração, pode
ser uma opção preferível para tarefas de feedback mais rotineiras. No entanto, para feedbacks mais personalizados e detalhados, os professores podem optar por ambientes manuais
ou semi-automatizados, apesar das demandas adicionais.
A análise dos gráficos do NASA TLX revela que diferentes ambientes de feedback influenciam a carga de trabalho dos professores de maneiras variadas. O AA tende a reduzir a
demanda mental, temporal, de esforço e frustração, sugerindo que a automação alivia certos
aspectos da carga de trabalho, mas também introduz novas complexidades. O AM é caracterizado por uma maior demanda física e temporal, indicando que, embora possa ser mais
controlável, também é mais demorado e repetitivo. O AS parece equilibrar as características
dos dois outros, exigindo ajustes e compreensão das novas ferramentas. Adicionalmente, a
análise por gênero revela diferenças nas percepções de carga de trabalho, com as professoras
tendendo a preferir sistemas automatizados ou semi-automatizados, enquanto os professores
se adaptam melhor ao ambiente manual.
6.4.3

Discussão da análise quantitativa

Os testes estatísticos realizados na Tabela 16 para avaliar a normalidade e a homogeneidade das variâncias das variáveis revelam resultados mistos. Enquanto algumas variáveis,
como ND_Mental, N_Performance e N_Esforço, não apresentam uma distribuição normal,
outras como ND_Física, ND_Temporal e N_Frustração mostram uma distribuição normal.
O Teste de Levene indica que as variâncias entre os grupos são homogêneas para todas as
variáveis. A homogeneidade das variâncias e a normalidade de algumas variáveis cumprem

6.4

Discussões

as premissas necessárias para a realização do teste ANOVA. Isso possibilitou comparações
significativas entre grupos.
Os resultados da ANOVA apresentados na Tabela 17 indicaram que não há variações
significativas entre os diferentes ambientes de trabalho (Manual, Automatizado, Semiautomatizado) na maioria das variáveis dependentes do NASA TLX. Para ND_Mental, o
valor de F baixo e o p-valor significativamente alto sugerem a inexistência de diferenças relevantes entre os ambientes. Este padrão é replicado nas variáveis N_Performance, N_Esforço
e N_Frustração, onde os valores de F são baixos e os p-valores altos, indicando ausência
de diferenças significativas. Por outro lado, ND_Física e ND_Temporal mostram p-valores
próximos ao limiar de significância, sugerindo possíveis diferenças significativas entre os
ambientes nestas variáveis. Em geral, os resultados sugerem que o tipo de ambiente de trabalho não influencia significativamente a maioria das variáveis dependentes, com exceção
de ND_Física e ND_Temporal, onde houve indícios de variações significativas. Isso sugere
que, enquanto certos aspectos do trabalho, como a demanda física e temporal, podem ser
afetados pelo ambiente, outras dimensões como a carga mental, o esforço e a frustração são
menos sensíveis ao tipo de ambiente.
A análise dos resultados dos testes de intergrupos para ND_Física e ND_Temporal visualizado na Tabela 18 revelou diferenças significativas entre os ambientes de trabalho automatizado e manual. O teste Tukey HSD indica que a média de ND_Física no ambiente
automatizado difere significativamente da média no ambiente manual, com um p-valor ajustado de 0.0599, que está abaixo da taxa de erro familiar (FWER) de 0.10. De maneira
similar, ND_Temporal também mostra uma diferença significativa entre os mesmos ambientes, com um p-valor ajustado de 0.0652. Além disso, os resultados ajustados pelo método
de Bonferroni corroboram essas descobertas, pois os p-valores ajustados para ND_Física
e ND_Temporal (0.077 e 0.084, respectivamente) são menores que o nível de significância estabelecido em 0.1. Esses resultados sugerem que a natureza do ambiente de trabalho, seja automatizado ou manual, tem um impacto significativo nas médias de ND_Física
e ND_Temporal, com diferenças na percepção dos professores quanto à demanda física e
temporal nessas duas configurações de trabalho. O uso combinado do Tukey HSD e do
Bonferroni reforça a robustez dessas conclusões, destacando as variações significativas que
existem entre os ambientes automatizado e manual em relação a esses aspectos específicos.

6.4

Discussões

100

A análise de variância (ANOVA) conduzida para explorar a relação entre ambiente e
gênero nas variáveis do NASA TLX revela que, com exceção da ND_Física, não existem
diferenças significativas que possam ser atribuídas simultaneamente ao ambiente de trabalho
e ao gênero dos professores. Conforme visto na Tabela 19, a ND_Física, a interação entre
ambiente e gênero é significativa, indicando que homens e mulheres podem perceber a carga
de trabalho física diferentemente dependendo do ambiente. No entanto, para as outras variáveis analisadas - ND_Mental, ND_Temporal, N_Performance, N_Esforço e N_Frustração
- a interação entre ambiente e gênero não apresenta significância estatística, sugerindo que
essas percepções de carga de trabalho são influenciadas por fatores além da combinação de
ambiente e gênero. Este resultado destaca que, embora o ambiente de trabalho e o gênero
possam afetar certos aspectos da percepção da carga de trabalho, a maioria das dimensões é
influenciada de forma mais independente por esses fatores.
A interação entre gênero e tipo de ambiente apresentada na Tabela 20 tende a não ser
uma influência significativa para a maioria das comparações feitas, indicando que as diferenças de gênero podem não ser consistentemente afetadas pelo tipo de ambiente em relação
à percepção de ND_Física. No entanto, existem diferenças específicas de gênero dentro do
ambiente semi-automatizado e entre mulheres em ambientes manuais e semi-automatizados
que são estatisticamente significativas, o que pode sugerir que estes ambientes têm impactos
diferentes em homens e mulheres ou que as mulheres experimentam uma mudança significativa quando se movem de um ambiente manual para um semi-automatizado. O único par
de comparação que mostrou uma diferença significativa entre os gêneros está no ambiente
semi-automatizado, o que pode indicar que as características deste ambiente afetam os gêneros de maneira diferente, ou que as respostas ao estresse e carga de trabalho físico podem
variar significativamente entre homens e mulheres neste contexto específico.
6.4.4

Discussão dos resultados em relação aos trabalhos relacionados

Na análise qualitativa conduzida, os 98 docentes envolvidos avaliaram de maneira favorável os três ambientes no design experimental desenvolvido. Os recurso de automação
simulando o uso de Learning Analytics em dashboard teve boa aceitação, o que atende ao
objetivo específico deste trabalho e o tema de trabalho futuro de (Şahin
Ifenthaler, 2021).
SAHIN;and
IFENTHALER,
O protótipo será registrado e disponibilizado para comunidade cientifica. Esse feedback po-

6.4

Discussões

101

sitivo sugere que, independentemente do gênero dos educadores, há um reconhecimento dos
participantes de que o emprego de tecnologias pode potencialmente mitigar sua carga de
trabalho e tempo de dedicação. Esta percepção é definida primariamente pelo nível de familiaridade do docente com a ferramenta em questão e pelos objetivos pretendidos para seu
uso.
Já na avaliação quantitativa, os dados referentes aos testes de hipóteses H1 indicam que
os docentes percebem que o ambiente automatizado demanda menor esforço físico e temporal, e impõe uma carga de trabalho inferior em comparação ao ambiente manual, sobretudo
em aspectos visuais. No plano estatístico foram observadas diferenças de relevância significativa que confirmaram as constatações visuais. Entretanto, o ambiente semi-automatizado
assemelha-se, em termos de percepção, ao ambiente automatizado. Esta constatação é a
primeira contribuição da presente dissertação, uma vez que evidencia a importância da participação ativa do educador no desenvolvimento de ambientes educacionais potencializados
por IA com LA direcionado ao envio de feedbacks (DERMEVAL, 2016). Os achados associados a H1 elucidam que, sob a ótica da percepção docente, é vantajoso implementar um
ambiente semi-automatizado para um monitoramento mais ágil e para o envio de feedbacks
mais céleres - estes últimos sendo gerados com o auxílio da IA, mas sempre com a possibilidade de intervenção do docente a fim de adequar o conteúdo às demandas específicas das
necessidades estudantis. Nesta hipótese o resultado se assemelha ao trabalho relacionado
proposto por (MACHADO et al., 2021) no que tange ao uso de sistemas semi-automatizado
para auxilia o professor no processo educacional.
No âmbito da hipótese H2, ao examinar os docentes por gênero, os dados demonstraram que, para a variável avaliada (demanda física), ambos os gêneros perceberam diferenças
significativas entre os ambientes, a saber: os professores masculinos perceberam um maior
demanda física para o ambiente semi-automatizado em relação as professoras no mesmo
ambiente. Já as professoras perceberam que o ambiente semi-automatizado apresenta um
demanda física bem inferior ao ambiente manual. Quando submetidos a testes estatísticos
rigorosos, tais resultados confirmaram diferenças significativa. Por outro lado, no contexto
manual, foi observada uma diferença notável no desempenho das professoras que integraram a pesquisa. Desta feita, os resultados desta investigação sinalizam que o gênero não
serve como um eixo analítico fundamental para decifrar a percepção dos docentes quanto às

6.4

Discussões

102

mencionadas variáveis, sobretudo no que tange à elaboração e transmissão de feedbacks aos
discentes em ambiente educacional virtual. O resultado desta hipótese diverge dos resultados
apresentados por (MACHADO et al., 2021) uma vez que, em seu trabalho os resultados são
positivos apenas para o ambiente automatizado na analise de gênero.

7 CONCLUSÃO

103

CONCLUSÃO
Neste estudo, objetivou-se examinar a percepção docente acerca da carga de trabalho e do

tempo despendido na elaboração e transmissão de feedbacks em plataformas educacionais
virtuais com o uso de learning analytics. Para quantificar a percepção dos educadores, foram
empregados três ambientes distintos com ambientes simulados: um ambiente automatizado,
um manual e, como proposta deste trabalho, um ambiente semi-automatizado que combina
o uso da IA com LA para sugestão de feedbacks à intervenção docente, promovendo, assim,
sua participação ativa no processo.
No escopo da avaliação das hipóteses relacionadas à percepção dos docentes ao interagir com os ambientes simulados, apresentou-se aos participantes uma série de interfaces.
Posteriormente, solicitou-se que analisarem detidamente cada ambiente e, em sequência,
respondessem a dois instrumentos de coleta de dados: o primeiro voltado para uma análise
qualitativa, utilizando-se uma escala Likert de cinco níveis, e o segundo para uma avaliação
quantitativa das hipóteses propostas, por meio do instrumento NASA TLX, visando discernir
eventuais efeitos significativos das variáveis em estudo.
Este trabalho examinou a hipótese de que o ambiente apresentado aos professores no
questionário poderia influenciar a sua percepção da carga de trabalho e seus componentes.
Os resultados da ANOVA não encontraram diferenças significativas na percepção da demanda mental, performance, nível de esforço e nível de frustração dos professores entre os
ambientes automatizado, manual e semi-automatizado. Contudo, as variáveis demanda física e demanda temporal apresentaram diferenças estatísticas significativas, principalmente
quando comparando o ambiente manual com o automatizado, sugerindo que o ambiente de
trabalho pode influenciar a percepção de carga de trabalho física e temporal dos professores.
Quanto à influência do gênero na percepção da carga de trabalho, a segunda hipótese testada, os resultados também apontaram para uma falta de diferenças significativas na maioria
das variáveis dependentes. A exceção foi encontrada na demanda física, onde houve diferenças estatísticas significativas entre os gêneros nos ambientes manual e semi-automatizado.
Tais achados indicam que, embora o gênero por si só não seja um fator determinante na percepção da carga de trabalho em geral, ele pode ter um papel na percepção da demanda física
em contextos específicos. Esses resultados contribuem para um entendimento mais matizado

7.1

Limitações

104

de como fatores ambientais e de gênero interagem para influenciar a carga de trabalho dos
professores.
Concluiu-se que as hipóteses nulas apresentadas neste estudo foram rejeitadas, pois
identificaram-se diferenças estatisticamente significativas na percepção dos participantes em
relação às algumas dimensões do NASA TLX nos ambientes propostos. Essa diferenciação foi notada tanto de forma geral quanto estratificada por gênero em ambientes virtuais,
combinada com o uso de Learning Analytics no envio de feedbacks.

7.1

Limitações

Nesta dissertação, uma das principais limitações residia na configuração de um ambiente
experimental simulado, haja vista que a plataforma educacional, integrada com um sistema
de Learning Analytics com o qual se estabeleceu contato inicial, abrigava dados sensíveis dos
discentes. Tal característica inviabilizou o acesso direto à plataforma, seja devido a restrições
legais, licenças de uso ou desafios técnicos para sua replicação. Como solução, o sistema
examinado neste estudo foi estruturado a partir de um conjunto de interfaces, conduzindo
o docente a uma simulação de ambiente focada na elaboração e transmissão de feedbacks.
Tal abordagem pode ser vista como uma restrição, dada a potencial falta de contextualização
completa para os educadores.
Os instrumentos de coleta de dados centraram-se na percepção docente, e não em ações
concretas, considerando a natureza simulada dos ambientes. Isso pode resultar em interpretações equivocadas por parte de educadores não familiarizados com tal modalidade de
pesquisa, representando um potencial viés. Adicionalmente, as escalas utilizadas, variando
de 1 a 5 ou 1 a 10, podem não capturar a profundidade das respostas, em comparação com
escalas mais amplas, p.e. como a do NASA TLX que vai de 0 a 100, o que demanda investigações complementares.
Uma outra limitação referente a apresentação do experimento, realizada de forma virtual,
dependeu da leitura e compreensão autônoma dos docentes, uma vez que não foi viável
a organização de uma sessão expositiva presencial. Ademais, convites para participação
foram enviados eletronicamente a contas institucionais, possibilitando interações esporádicas
e assíncronas com o investigador.
Há, ainda, a consideração de que as respostas dos envolvidos poderiam não refletir um

7.2

Trabalhos Futuros

105

engajamento genuíno dos participantes com o propósito da pesquisa, que objetivava discernir
a percepção docente acerca do esforço cognitivo e do tempo despendido em plataformas
virtuais de ensino.

7.2

Trabalhos Futuros

De acordo com as limitações expostas e de todo o potencial de exploração das bases teóricas e do experimento realizado, propomos a realização das seguintes atividades em trabalhos
futuros:
• Aprimorar a coleta de dados que influenciam na percepção dos professores sobre o
esforço cognitivo e o tempo dedicado ao trabalho em plataformas educacionais.
• Desenvolver e implementar o modelo do ambiente semi-automatizado de recomendações de feedbacks em uma plataforma pedagógica para ser avaliado por professores
em um ambiente realístico.
• Avaliar a percepção dos professores em relação a sua carga de trabalho e tempo de
dedicação em uma plataforma real, utilizando o modelo desenvolvido para o ambiente
semi-automatizado por um período prolongado.
• Aplicar outros testes que mensuram a carga de trabalho no contexto de envio de feedback em ambiente semi-automatizado com o uso de learning analytics, como a ferramenta SWAT e comparar os resultados com o NASA TLX (RUBIO et al., 2004).
• Avaliar a qualidade do feedback enviado pelo professor aos discentes. Este trabalho
daria condições de verificar se o feedback enviado aos alunos pelos ambientes virtuais
educacionais atendem às suas expectativas.
• Avaliar a qualidade do feedback com compreensão, comparando o que foi fornecido
pelos docentes ao feedback gerado pela IA, como o Chat GPT combinado com os
dados estatísticos de learning analytics (DAI et al., 2023).
• Expandir o escopo do experimento, incorporando variáveis adicionais a fim de traçar
um diagnóstico mais acurado. Considerar fatores como faixa etária, grau de instrução
e outras variáveis propostas pela teoria da carga de trabalho.

7.2

Trabalhos Futuros

106

• Empregar métricas técnicas, como tempo para executar tarefas, número de cliques e
velocidade de digitação, para fornecer mais insumos estatísticos à análise dos dados.
• Utilizar redes neurais para processar os sinais cerebrais dos participantes durante a
realização de experimentos. Isso nos permitirá avaliar com maior precisão a percepção
da carga de trabalho e fazer comparações com as respostas fornecidas nas pesquisas
anteriores.

REFERÊNCIAS

107

Referências
AFRIDI, A. H. and MENGASH, H. A. (2022). Nasa-tlx–based workload assessment for
academic resource recommender system. Personal and ubiquitous computing, 26(3):881–
899.
BANDURA, A. (1999). Social cognitive theory: An agentic perspective. Asian journal of
social psychology, 2(1):21–41.
BLACK, P. and WILIAM, D. (1998). Assessment and classroom learning. assessment in
education, 5 (1), 7–74. Google Scholar Google Scholar Cross Ref Cross Ref.
BOUD, D. and MOLLOY, E. (2012). What is the problem with feedback? In Feedback in
higher and professional education, pages 1–10. Routledge.
CARLESS, D., SALTER, D., YANG, M., and LAM, J. (2011). Developing sustainable
feedback practices. Studies in higher education, 36(4):395–407.
CERF, V. G. (2013). Augmented intelligence. IEEE Internet Computing, 17(5):96–96.
COOPER, G. (1990). Cognitive load theory as an aid for instructional design. Australasian
Journal of Educational Technology, 6(2).
CUKUROVA, M., KENT, C., and LUCKIN, R. (2019). Artificial intelligence and multimodal data in the service of human decision-making: A case study in debate tutoring. British
Journal of Educational Technology, 50(6):3032–3046.
DAI, W., LIN, J., JIN, H., LI, T., TSAI, Y.-S., Gašević, D., and Chen, G. (2023). Can large
language models provide feedback to students? a case study on chatgpt. In 2023 IEEE
International Conference on Advanced Learning Technologies (ICALT), pages 323–325.
IEEE.
DANIEL, C. S. (2020). Assessing learning efficiency in narrative simulation delivered through interactive multimedia.
DERMEVAL, D. (2016). Intelligent authoring of gamified intelligent tutoring system. In
UMAP (Extended Proceedings).

REFERÊNCIAS

108

DERMEVAL, D., PAIVA, R., BITTENCOURT, I. I., VASSILEVA, J., and BORGES, D.
(2018). Authoring tools for designing intelligent tutoring systems: a systematic review of
the literature. International Journal of Artificial Intelligence in Education, 28(3):336–384.
Gašević, D., DAWSON, S., and SIEMENS, G. (2015). Let’s not forget: Learning analytics
are about learning. TechTrends, 59(1):64–71.
HAN, J., KIM, K. H., RHEE, W., and CHO, Y. H. (2021). Learning analytics dashboards
for adaptive support in face-to-face collaborative argumentation. Computers & Education,
163:104041.
HART, S. G. and STAVELAND, L. E. (1988). Development of nasa-tlx (task load index):
Results of empirical and theoretical research. In Advances in psychology, volume 52,
pages 139–183. Elsevier.
HASNINE, M. N., NGUYEN, H. T., TRAN, T. T. T., BUI, H. T., Akçapınar, G., and UEDA,
H. (2023). A real-time learning analytics dashboard for automatic detection of online
learners’ affective states. Sensors, 23(9):4243.
HATTIE, J. and TIMPERLEY, H. (2007). The power of feedback. Review of educational
research, 77(1):81–112.
Ketchum, C., LaFave, D. S., Yeats, C., Phompheng, E., and Hardy, J. H. (2020). Video-based
feedback on student work: An investigation into the instructor experience, workload, and
student evaluations. Online Learning, 24(3):85–105.
KIM, J., JO, I.-H., and PARK, Y. (2016). Effects of learning analytics dashboard: analyzing
the relations among dashboard utilization, satisfaction, and learning achievement. Asia
Pacific Education Review, 17(1):13–24.
KLUGER, A. N. and DENISI, A. (1996). The effects of feedback interventions on performance: a historical review, a meta-analysis, and a preliminary feedback intervention
theory. Psychological bulletin, 119(2):254.
LI, K. W., LU, Y., and LI, N. (2022). Subjective and objective assessments of mental workload for uav operations. Work, 72(1):291–301.

REFERÊNCIAS

109

LOCKE, E. A. and LATHAM, G. P. (2002). Building a practically useful theory of goal
setting and task motivation: A 35-year odyssey. American psychologist, 57(9):705.
LOWNDES, B. R., FORSYTH, K. L., BLOCKER, R. C., DEAN, P. G., TRUTY, M. J., HELLER, S. F., BLACKMON, S., HALLBECK, M. S., and NELSON, H. (2020). Nasa-tlx assessment of surgeon workload variation across specialties. Annals of surgery, 271(4):686–
692.
MACHADO, A. J. B. et al. (2021). Percepção de carga de trabalho na recomendação de
recursos educacionais apoiada por inteligência artificial: um experimento controlado com
professores.
MALEKPOUR, F., MEHRAN, G., MOHAMMADIAN, Y., MIRZAEE, V., and MALEKPOUR, A. (2014). Assessment of mental workload in teachers of hashtrud city using
nasa-tlx mental workload index. Pajoohandeh Journal, 19(3):157–161.
MATOS, D. D. M. d. C. et al. (2017). Authoring gamified intelligent tutoring systems.
MILLER, G. A. (1956). The magical number seven, plus or minus two: Some limits on our
capacity for processing information. Psychological review, 63(2):81.
MOLENAAR, I. and Knoop-van CAMPEN, C. (2017). Teacher dashboards in practice:
Usage and impact. In European conference on technology enhanced learning, pages 125–
138. Springer.
MOTHIBI, G. (2015). A meta-analysis of the relationship between e-learning and students’
academic achievement in higher education. Journal of Education and Practice, 6(9):6–9.
NUR, I., ISKANDAR, H., and ADE, R. (2020). The measurement of nurses’mental workload using nasa-tlx method (a case study). Malaysian Journal of Public Health Medicine,
20(Special1):60–63.
PAIVA, R. and BITTENCOURT, I. I. (2020). Helping teachers help their students: A humanai hybrid approach. In International conference on artificial intelligence in education,
pages 448–459. Springer.

REFERÊNCIAS

110

PAIVA, R., BITTENCOURT, I. I., and Da SILVA, A. P. (2013). Uma ferramenta para
recomendação pedagógica baseada em mineração de dados educacionais. In Anais dos
Workshops do Congresso Brasileiro de Informática na Educação, volume 2.
PAIVA, R., BITTENCOURT, I. I., PACHECO, H., da SILVA, A. P., JACQUES, P., and ISOTANI, S. (2012). Mineração de dados and a gestão inteligente da aprendizagem: desafios
and direcionamentos. In Anais do Workshop de Desafios da Computação Aplicada à Educação, pages 158–167.
PAIVA, R., BITTENCOURT, I. I., TENÓRIO, T., JAQUES, P., and ISOTANI, S. (2016).
What do students do on-line? modeling students’ interactions to improve their learning
experience. Computers in Human Behavior, 64:769–781.
PARDO, A., JOVANOVIC, J., DAWSON, S., Gašević, D., and MIRRIAHI, N. (2019). Using
learning analytics to scale the provision of personalised feedback. British Journal of Educational Technology, 50(1):128–138.
PARK, Y. and JO, I.-H. (2015). Development of the learning analytics dashboard to support
students’ learning performance. Journal of Universal Computer Science, 21(1):110.
PRABASWARI, A. D., BASUMERDA, C., and UTOMO, B. W. (2019). The mental workload analysis of staff in study program of private educational organization. In IOP Conference Series: Materials Science and Engineering, volume 528, page 012018. IOP Publishing.
PUTRA, A. A., PRATAMA, R. C., and FARAHDIANSARI, A. P. (2023). Analysis of mental
workload with nasa-tlx method on employees of kareb bojonegoro cooperative. Journal
of Information System, Technology and Engineering, 1(3):95–103.
REIS, H. M., BORGES, S. S., DURELLI, V. H., MORO, L. F. d. S., BRANDAO, A. A.,
BARBOSA, E. F., BRANDAO, L. O., ISOTANI, S., JAQUES, P. A., and BITTENCOURT,
I. I. (2012). Towards reducing cognitive load and enhancing usability through a reduced
graphical user interface for a dynamic geometry system: An experimental study. In 2012
IEEE International Symposium on Multimedia, pages 445–450. IEEE.

REFERÊNCIAS

111

RUBIO, S., Díaz, E., Martín, J., and PUENTE, J. M. (2004). Evaluation of subjective mental workload: A comparison of swat, nasa-tlx, and workload profile methods. Applied
psychology, 53(1):61–86.
SCHUMACHER, C. and IFENTHALER, D. (2018). Features students really expect from
learning analytics. Computers in human behavior, 78:397–407.
SUSNJAK, T., RAMASWAMI, G. S., and MATHRANI, A. (2022). Learning analytics
dashboard: a tool for providing actionable insights to learners. International Journal of
Educational Technology in Higher Education, 19(1):12.
SWELLER, J. (1988). load during problem solving: on/earn/ng. Cognitive Science, 12(2).
SWELLER, J. (2010). Element interactivity and intrinsic, extraneous, and germane cognitive
load. Educational psychology review, 22(2):123–138.
TENÓRIO, K., DERMEVAL, D., CHALLCO, G. C., LEMOS, B., NASCIMENTO, P.,
SANTOS, R., and da SILVA, A. P. (2020). An evaluation of the gamanalytics tool: Is
the gamification analytics model ready for teachers? In Anais do XXXI Simpósio Brasileiro de Informática na Educação, pages 562–571. SBC.
Van Leeuwen, A. (2015). Learning analytics to support teachers during synchronous cscl:
Balancing between overview and overload. Journal of learning Analytics, 2(2):138–162.
VERBERT, K., GOVAERTS, S., DUVAL, E., SANTOS, J. L., Van ASSCHE, F., PARRA,
G., and KLERKX, J. (2014). Learning dashboards: an overview and future research
opportunities. Personal and Ubiquitous Computing, 18(6):1499–1514.
WOOLF, B. P. (2010). Building intelligent interactive tutors: Student-centered strategies for
revolutionizing e-learning. Morgan Kaufmann.
XHAKAJ, F., ALEVEN, V., and MCLAREN, B. M. (2017). Effects of a teacher dashboard
for an intelligent tutoring system on teacher knowledge, lesson planning, lessons and student learning. In European conference on technology enhanced learning, pages 315–329.
Springer.

REFERÊNCIAS

112

YURKO, Y. Y., SCERBO, M. W., PRABHU, A. S., ACKER, C., and e STEFANIDIS, D.
(2010). Higher mental workload is associated with poorer laparoscopic performance as
measured by the nasa-tlx tool. Simulation in healthcare, 5(5):267–271.
Şahin, M. and Ifenthaler, D. (2021). Visualizations and dashboards for learning analytics: A
systematic literature review. Advances in Analytics for Learning and Teaching.

A ANEXO A - TERMO DE CONSENTIMENTO LIVRE E ESCLARECIDO (T.C.L.E.)

113

ANEXO A - TERMO DE CONSENTIMENTO LIVRE
E ESCLARECIDO (T.C.L.E.)

Você está sendo convidado(a) a participar do projeto de pesquisa “PERCEPÇÃO DE
CARGA DE TRABALHO NO ENVIO DE FEEDBACK PARA DASHBOARDS E LEARNING ANALYTICS: UM EXPERIMENTO CONTROLADO COM PROFESSORES.” dos
pesquisadores Ítalo Rodrigo da Silva Arruda e prof. Dr. Diego Dermeval Medeiros da Cunha
Matos. A seguir, as informações do projeto de pesquisa com relação a sua participação neste
projeto.
1. O estudo trata-se de uma dissertação do curso de Mestrado em Informática da Universidade Federal de Alagoas que objetiva investigar qual o impacto do uso de feedbacks
gerados automaticamente a partir de dados dos usuários na utilização de ambiente virtual em comparação à análise manual por professores na percepção do professor com
respeito ao esforço cognitivo e tempo de dedicação. O acesso a esta pesquisa pode
ser feito através de aparelhos conectados à internet acesso o link recebido no e-mail
convite que direciona para o site da pesquisa. A pesquisa será aplicada por meios eletrônicos onde o participante terá acesso ao site da pesquisa que contém uma descrição
inicial da pesquisa. Após o início da pesquisa o participante será direcionado para o
formulário do Google Forms. O custo envolvido será o do aparelho do participante
e/ou da conectividade dependendo do meio que é feito o acesso a pesquisa.
2. A importância desse estudo para o participante será de oportunizar a avaliação de
um sistema com potencial de auxiliá-lo no desenvolvimento de suas atividades como
docente. Para a comunidade científica será beneficiada com entendimento de qual é
o impacto do uso de feedback combinadas ou não com a participação dos professores
no ambiente em relação ao esforço cognitivo e tempo de dedicação para elaboração de
feedbacks na plataforma.
3. Os resultados que se desejam alcançar são os seguintes; espera-se encontrar um resultado positivo em relação a utilização de feedbacks em um ambiente virtual com LA,
comparando a participação ativa do professor em relação a automação de feedbacks
no ambiente.

A ANEXO A - TERMO DE CONSENTIMENTO LIVRE E ESCLARECIDO (T.C.L.E.)

114

4. A coleta de dados começará entre 01 de Agosto e terminará em 15 de Setembro de
2023.
5. O estudo será feito da seguinte maneira:

• No primeiro momento: O professor que irá participar do estudo, será direcionado
para uma simulação de criação e acompanhamento de recursos pedagógicos em
uma plataforma on-line.
• No segundo momento: o professor irá ler um estudo de caso, onde ele irá vivenciar um ambiente de desempenho pedagógico e interativo de um grupo de
estudantes simulados, de acordo com um dos três grupos que ele estará atribuído
de maneira aleatória.
• No terceiro momento: o professor será apresentado a uma das visualizações de
três ambientes gerados aleatoriamente onde deve realizar as operações informadas nas instruções iniciais.
• No quarto momento: responder um conjunto de perguntas que tratam a sua percepção do esforço cognitivo e tempo de dedicação ao acompanhar o ambiente e
as ações como professor na plataforma.
6. A sua participação será nas seguintes etapas: acontecerão em todas as etapas descritas no item 5, sendo assegurado o seu direito de não responder, todo o questionário
ou qualquer uma das questões. Também é garantido o acesso a todo conteúdo dos
questionários logo no início antes.
7. Pode existir possibilidade de danos à dimensão:

• Física: Os incômodos e possíveis riscos à saúde física e/ou mental poderão estar
relacionados ao uso do computador por muito tempo. Para minimizar esse risco,
a pesquisa será feita de forma clara e objetiva para evitar o uso prolongado do
computador ou celular.

A ANEXO A - TERMO DE CONSENTIMENTO LIVRE E ESCLARECIDO (T.C.L.E.)

115

• Moral: Existe o risco de quebra de sigilo dos professores com relação aos dados
coletados durante o estudo. No entanto, os dados coletados serão todos anonimizados impedindo a sua identificação.
• A participação na pesquisa prevê danos à dimensão Psíquica, Social, Cultural do
ser humano e Intelectual. Caso venha ocorrer algum dano será encaminhado para
o SPA - Serviço de Psicologia Aplicada do UFAL que assumirá este papel.
8. Os benefícios esperados através da combinação do uso de inteligência artificial e humana para criação de feedbacks em sistemas educacionais com Learning Analytics irá
trazer resultados positivos para:
• O participante: Os professores em relação ao seu esforço cognitivo e eficiência
na aplicação de um modelo específico de elaboração de feedbacks, contribuindo
para proposição de sistemas que possam auxiliar o docente em focar em sua
atividade final.
• A sociedade: O ganho de profissionais com a formação mais completa em diversas áreas do conhecimento devido aos trabalhos derivados desta pesquisa.
9. Você será informado(a) do resultado do projeto e sempre que desejar, serão fornecidos
esclarecimentos sobre cada uma das etapas do estudo sendo garantido do o acesso a
este termo (TCLE) em papel e formato digital a depender do seu interesse.
10. A qualquer momento, você poderá recusar a continuar participando do estudo e, também, poderá retirar seu consentimento, sem que isso lhe traga qualquer penalidade ou
prejuízo.
11. As informações conseguidas através da sua participação não permitirão a identificação
da sua pessoa, exceto para a equipe de pesquisa, e que a divulgação das mencionadas
informações só será feita entre os profissionais estudiosos do assunto após a sua autorização. Os dados serão armazenados de forma segura na nuvem institucional, bem
como as ferramentas de coleta de dados. Será feita cópias de segurança que ficará
armazenado no período de 5 anos. Após esse período será feito o apagamento de todo
e qualquer registro da plataforma virtual ou nuvem conforme a política de privacidade
da ferramenta do Google Workstation,

A ANEXO A - TERMO DE CONSENTIMENTO LIVRE E ESCLARECIDO (T.C.L.E.)

116

12. Será garantido o ressarcimento de todos os gastos, sendo os custos diretos e indiretos,
que você porventura tenha em decorrência da pesquisa e sendo proporcionada a assistência imediata e na íntegra pelo pesquisador bastando entrar em contato pelos canais
informados neste termo.
13. Você será indenizado(a) por qualquer dano que venha a sofrer com a sua participação
na pesquisa.
14. Você receberá o Termo de Consentimento Livre e Esclarecido que será elaborado em
duas vias, sendo, assinadas ao final pelo participante e pelo pesquisador. É recomendável que armazene em local seguro.
ATENÇÃO: Se você tiver dúvidas sobre seus direitos como participante de pesquisa, poderá
contatar o Comitê de Ética em Pesquisa (CEP), da UFAL: (82) 3214-1041. Grupo de avaliadores de projetos de pesquisa científica com objetivo de avaliação ética inicial e continuada
do estudo no sentido de preservação do participante da pesquisa. O COMITÊ se responsabiliza pela avaliação e acompanhamento dos aspectos éticos das pesquisas envolvendo seres
humanos, respaldado pelas diretrizes éticas brasileiras (Resoluções CNS nº 466/2012, nº
510/2016 e complementares).
- Informamos que, em virtude do atual ambiente devido à pandemia da COVID-19, o pesquisador deve se comprometer a modificar seu cronograma para realizar a pesquisa em campo
apenas quando possível, respeitando os decretos sobre a pandemia de acordo com os decretos
em vigor.
- A coleta dos dados somente poderá ser realizada pelo pesquisador, após o envio das autorizações das Instituições responsáveis, via Notificação.
- Caso tenha dúvidas entre em contato com o CEP via e-mail: comitedeeticaufal@gmail.com
ou via Skype: comitedeeticaufal@hotmail.com
- O Comitê de Ética da UFAL analisou e aprovou este projeto de pesquisa.
Para obter mais informações a respeito deste projeto de pesquisa, informar ocorrências irregulares ou danosas durante a sua participação no estudo, dirija-se ao:
Comitê de Ética em Pesquisa da Universidade Federal de Alagoas
Prédio do Centro de Interesse Comunitário (CIC), Térreo, Campos A. C. Simões, Cidade
Universitária
Telefone: 3214-1041 - Horário de Atendimento: das 8:00 às 12:00hs.
E-mail: comitedeeticaufal@gmail.com ou via Skype: comitedeeticaufal@hotmail.com
Eu, ................................................................................................................, tendo compreendido perfeitamente tudo o que me foi informado sobre a minha participação no
mencionado estudo e estando consciente dos meus direitos, das minhas responsabilidades,
dos riscos e dos benefícios que a minha participação implica, concordo em dele participar e

A ANEXO A - TERMO DE CONSENTIMENTO LIVRE E ESCLARECIDO (T.C.L.E.)

117

para isso eu DOU O MEU CONSENTIMENTO SEM QUE PARA ISSO EU TENHA SIDO
FORÇADO OU OBRIGADO.
Endereço do responsável pela pesquisa:
Instituição: Universidade Federal de Alagoas
Endereço: Av. Lourival Melo Mota, S/N
Complemento: Cidade Universitária
Cidade/CEP: Maceió-AL / 57072-970
Telefone: 82 981875147
Contato de urgência: Sr. Ítalo Rodrigo da Silva Arruda
Endereço: Av. Lourival Melo Mota, S/N
Complemento: Cidade Universitária
Cidade/CEP: Maceió-AL / 57072-970
Telefone: 82 981875147
Maceió, ______ de ____________ de 2023.

Assinatura ou impressão datiloscópica do(a)
voluntário(a) ou responsável legal e rubricar
as demais folhas

Nome e Assinatura do Pesquisador pelo
estudo (Rubricar as demais páginas)

B ANEXO B - QUESTIONÁRIO CONCEITOS BÁSICOS

118

ANEXO B - QUESTIONÁRIO CONCEITOS BÁSICOS

Demanda Mental: atividade mental requerida para a realização do trabalho.
Demanda Física: atividade física requerida para a realização do trabalho.
Demanda Temporal: nível de pressão imposto para a realização do trabalho.
Performance: nível de satisfação com o desempenho pessoal para a realização do trabalho.
Esforço: o quanto que se tem que trabalhar física e mentalmente para atingir um nível
desejado de performance ou desempenho.
Nível de Frustração: nível de fatores que inibem a realização do trabalho (insegurança,
irritação, falta de estímulo, estresse, contrariedades).
Recomendação: É a oferta de recursos de feedbacks, que o sistema sugere ao professor.
Explicação: É o que justifica o motivo pelo qual o feedback foi enviada ao estudante.
Transparência: É a exposição de quem fez o feedback, seja o professor ou o sistema.

• Qual seu gênero?
1-Feminino; 2-Masculino
• O conceito (Demanda Mental) está explicado de forma clara e consegui compreendêlo.
1 – Discordo Plenamente; 2 – Discordo; 3 – Não concordo nem discordo; 4 – Concordo; 5 – Concordo Plenamente.
• O conceito (Demanda Física) está explicado de forma clara e consegui compreendê-lo.
1 – Discordo Plenamente; 2 – Discordo; 3 – Não concordo nem discordo; 4 – Concordo; 5 – Concordo Plenamente.
• O conceito (Demanda Temporal) está explicado de forma clara e consegui
compreendê-lo.
1 – Discordo Plenamente; 2 – Discordo; 3 – Não concordo nem discordo; 4 – Concordo; 5 – Concordo Plenamente.
• O conceito (Performance) está explicado de forma clara e consegui compreendê-lo.

B ANEXO B - QUESTIONÁRIO CONCEITOS BÁSICOS

119

1 – Discordo Plenamente; 2 – Discordo; 3 – Não concordo nem discordo; 4 – Concordo; 5 – Concordo Plenamente.
• O conceito (Esforço) está explicado de forma clara e consegui compreendê-lo.
1 – Discordo Plenamente; 2 – Discordo; 3 – Não concordo nem discordo; 4 – Concordo; 5 – Concordo Plenamente.
• O conceito (Nível de Frustração) está explicado de forma clara e consegui
compreendê-lo.
1 – Discordo Plenamente; 2 – Discordo; 3 – Não concordo nem discordo; 4 – Concordo; 5 – Concordo Plenamente.
• O conceito (Recomendação) está explicado de forma clara e consegui compreendê-lo.
1 – Discordo Plenamente; 2 – Discordo; 3 – Não concordo nem discordo; 4 – Concordo; 5 – Concordo Plenamente.
• O conceito (Explicação) está explicado de forma clara e consegui compreendê-lo.
1 – Discordo Plenamente; 2 – Discordo; 3 – Não concordo nem discordo; 4 – Concordo; 5 – Concordo Plenamente.
• O conceito (Transparência) está explicado de forma clara e consegui compreendê-lo.
1 – Discordo Plenamente; 2 – Discordo; 3 – Não concordo nem discordo; 4 – Concordo; 5 – Concordo Plenamente.

C ANEXO C - QUESTIONÁRIO DE PERCEPÇÃO

120

ANEXO C - QUESTIONÁRIO DE PERCEPÇÃO
AMBIENTE MANUAL (AM)
• Em relação ao tempo de trabalho, o ambiente manual, contribuiria para um aumento
da minha produtividade no envio de feedback para os meus alunos?
1 – Discordo Plenamente; 2 – Discordo; 3 – Não concordo nem discordo; 4 – Concordo; 5 – Concordo Plenamente.
• Em relação ao tempo de trabalho, no ambiente manual, a criação manual de feedback
apresentada, contribuiria na minha eficiência no envio de feedback para os meus alunos?
1 – Discordo Plenamente; 2 – Discordo; 3 – Não concordo nem discordo; 4 – Concordo; 5 – Concordo Plenamente.
• Em relação ao esforço cognitivo, o ambiente manual contribuiria para um aumento da
minha produtividade no envio de feedbacks para os meus alunos?
1 – Discordo Plenamente; 2 – Discordo; 3 – Não concordo nem discordo; 4 – Concordo; 5 – Concordo Plenamente.
• Em relação ao esforço cognitivo, o ambiente manual, o envio de feedback criado pelo
professor(a), contribuiria no meu acompanhamento da evolução dos alunos?
1 – Discordo Plenamente; 2 – Discordo; 3 – Não concordo nem discordo; 4 – Concordo; 5 – Concordo Plenamente.
• Em relação ao tempo de trabalho, qual seria um ponto positivo ou negativo percebido
pelo senhor(a) no ambiente manual?
(Questão aberta)
• Em relação ao esforço cognitivo, qual seria um ponto positivo ou negativo percebido
pelo senhor(a) no ambiente manual?
(Questão aberta)

C ANEXO C - QUESTIONÁRIO DE PERCEPÇÃO

121

AMBIENTE AUTOMATIZADO (AA)
• Em relação ao tempo de trabalho, o ambiente automatizado contribuiria para um aumento da minha produtividade no acompanhamento do envio de feedbacks para os
meus alunos?
1 – Discordo Plenamente; 2 – Discordo; 3 – Não concordo nem discordo; 4 – Concordo; 5 – Concordo Plenamente.
• Em relação ao tempo de trabalho, no ambiente automatizado, a visualização do percentual das interações dos alunos em fóruns, junto com os painéis de dados, contribuiria
na minha eficiência no acompanhamento e envio de feedbacks para os meus alunos?
1 – Discordo Plenamente; 2 – Discordo; 3 – Não concordo nem discordo; 4 – Concordo; 5 – Concordo Plenamente.
• Em relação ao esforço cognitivo, o ambiente automatizado contribuiria para um aumento da minha produtividade no acompanhamento e envio de feedbacks para os meus
alunos?
1 – Discordo Plenamente; 2 – Discordo; 3 – Não concordo nem discordo; 4 – Concordo; 5 – Concordo Plenamente.
• Em relação ao esforço cognitivo, o ambiente automatizado, as os feedbacks enviados
automaticamente, contribuiria no acompanhamento e rendimento dos alunos?
1 – Discordo Plenamente; 2 – Discordo; 3 – Não concordo nem discordo; 4 – Concordo; 5 – Concordo Plenamente.
• Em relação ao tempo de trabalho, qual seria um ponto positivo ou negativo percebido
pelo senhor(a) no ambiente automatizado?
(Questão aberta)
• Em relação ao esforço cognitivo, qual seria um ponto positivo ou negativo percebido
pelo senhor(a) no ambiente automatizado?
(Questão aberta)

C ANEXO C - QUESTIONÁRIO DE PERCEPÇÃO

122

AMBIENTE SEMI-AUTOMATIZADO (AS)
• Em relação ao tempo de trabalho, o ambiente semi-automatizado, contribuiria para um
aumento da minha produtividade no envio de feedbacks para os meus alunos?
1 – Discordo Plenamente; 2 – Discordo; 3 – Não concordo nem discordo; 4 – Concordo; 5 – Concordo Plenamente.
• Em relação ao tempo de trabalho, no ambiente semi-automatizado, a sugestão de feedback apresentada pelo sistema, contribuiria na minha eficiência no envio de feedbacks
para os meus alunos?
1 – Discordo Plenamente; 2 – Discordo; 3 – Não concordo nem discordo; 4 – Concordo; 5 – Concordo Plenamente.
• Em relação ao esforço cognitivo, o ambiente semi-automatizado, contribuiria para um
aumento da minha produtividade no envio de feedbacks para os meus alunos?
1 – Discordo Plenamente; 2 – Discordo; 3 – Não concordo nem discordo; 4 – Concordo; 5 – Concordo Plenamente.
• Em relação ao esforço cognitivo, o ambiente semi-automatizado a sugestão de feedback sugerida para o professor, contribuiria no meu acompanhamento e rendimento
dos alunos, no envio de feedbacks para os meus alunos?
1 – Discordo Plenamente; 2 – Discordo; 3 – Não concordo nem discordo; 4 – Concordo; 5 – Concordo Plenamente.
• Em relação ao tempo de trabalho, qual seria um ponto positivo ou negativo percebido
pelo senhor(a) no ambiente semi-automatizado?
(Questão aberta)
• Em relação ao esforço cognitivo, qual seria um ponto positivo ou negativo percebido
pelo senhor(a) no ambiente semi-automatizado?
(Questão aberta)

123

D ANEXO D - QUESTIONÁRIO NASA/TLX

ANEXO D - QUESTIONÁRIO NASA/TLX

AMBIENTE MANUAL (AM)
Este questionário tem como finalidade entender o que mais representa a carga de trabalho
durante a realização de suas funções como professor. Onde você deve observar os seguintes
conceitos:
• Demanda Mental – atividade mental requerida para a realização do trabalho.
• Demanda Física – atividade física requerida para a realização do trabalho.
• Demanda Temporal – nível de pressão imposto para a realização do trabalho.
• Performance – nível de satisfação com o desempenho pessoal para a realização do
trabalho.
• Esforço – o quanto que se tem que trabalhar física e mentalmente para atingir um nível
desejado de performance ou desempenho.
• Nível de Frustração – nível de fatores que inibem a realização do trabalho
(insegurança, irritação, falta de estímulo, estresse, contrariedades).
Demanda Mental no seu trabalho (na criação de feedbacks manuais)

Pouco

Muito

Demanda Física no seu trabalho (na criação de feedbacks manuais)

Pouco

Muito

124

D ANEXO D - QUESTIONÁRIO NASA/TLX
Demanda Temporal no seu trabalho (na criação de feedbacks manuais)

Pouco

Muito

Performance ou desempenho no seu trabalho (na criação de feedbacks manuais)

Pouco

Muito

Esforço (Físico e Mental) no seu trabalho (na criação de feedbacks manuais)

Pouco

Muito

Nível de Frustração no seu trabalho (na criação de feedbacks manuais)

Pouco

Muito

AMBIENTE AUTOMATIZADO (AA)
Este questionário tem como finalidade entender o que mais representa a carga de trabalho
durante a realização de suas funções como professor. Onde você deve observar os seguintes
conceitos:
• Demanda Mental – atividade mental requerida para a realização do trabalho.
• Demanda Física – atividade física requerida para a realização do trabalho.
• Demanda Temporal – nível de pressão imposto para a realização do trabalho.
• Performance – nível de satisfação com o desempenho pessoal para a realização do
trabalho.
• Esforço – o quanto que se tem que trabalhar física e mentalmente para atingir um nível
desejado de performance ou desempenho.

125

D ANEXO D - QUESTIONÁRIO NASA/TLX
• Nível de Frustração – nível de fatores que inibem a realização do trabalho
(insegurança, irritação, falta de estímulo, estresse, contrariedades).

Demanda Mental no seu trabalho (no acompanhamento dos feedbacks enviados e notificados e por visualização dos painéis de dados)

Pouco

Muito

Demanda Física no seu trabalho (no acompanhamento dos feedbacks enviados e notificados e por visualização dos painéis de dados)

Pouco

Muito

Demanda Temporal no seu trabalho (no acompanhamento dos feedbacks enviados e
notificados e por visualização dos painéis de dados)

Pouco

Muito

Performance ou desempenho no seu trabalho (no acompanhamento dos feedbacks enviados e notificados e por visualização dos painéis de dados)

Pouco

Muito

126

D ANEXO D - QUESTIONÁRIO NASA/TLX

Esforço (Físico e Mental) no seu trabalho (no acompanhamento dos feedbacks enviados
e notificados e por visualização dos painéis de dados)

Pouco

Muito

Nível de Frustração no seu trabalho (no acompanhamento dos feedbacks enviados e
notificados e por visualização dos painéis de dados)

Pouco

Muito

AMBIENTE SEMI-AUTOMATIZADO (AS)
Este questionário tem como finalidade entender o que mais representa a carga de trabalho
durante a realização de suas funções como professor. Onde você deve observar os seguintes
conceitos:
• Demanda Mental – atividade mental requerida para a realização do trabalho.
• Demanda Física – atividade física requerida para a realização do trabalho.
• Demanda Temporal – nível de pressão imposto para a realização do trabalho.
• Performance – nível de satisfação com o desempenho pessoal para a realização do
trabalho.
• Esforço – o quanto que se tem que trabalhar física e mentalmente para atingir um nível
desejado de performance ou desempenho.
• Nível de Frustração – nível de fatores que inibem a realização do trabalho (insegurança, irritação, falta de estímulo, estresse, contrariedades).

127

D ANEXO D - QUESTIONÁRIO NASA/TLX
Demanda Mental no seu trabalho (na confirmação envio de feedbacks sugeridos)

Pouco

Muito

Demanda Física no seu trabalho (na confirmação envio de feedbacks sugeridos)

Pouco

Muito

Demanda Temporal no seu trabalho (na confirmação envio de feedbacks sugeridos)

Pouco

Muito

Performance ou desempenho no seu trabalho (na confirmação envio de feedbacks sugeridos)

Pouco

Muito

Esforço (Físico e Mental) no seu trabalho (na confirmação envio de feedbacks sugeridos)

Pouco

Muito

Nível de Frustração no seu trabalho (na confirmação envio de feedbacks sugeridos)

Pouco

Muito