Sistema de Validação de Aspectos Técnicos e Pedagógicos de Videoaulas: Construindo Recomendações e Visualizações para Apoiar o Professor

Aluno: Júlio César Ferreira Silva de Holanda Orientador: Prof. Dr. Alan Pedro da Silva

PPGI_-_Dissertao_Final_-_Jlio_Csar__Ficha_catalogrfica_e_assinaturas.pdf
Documento PDF (3.0MB)

U NIVERSIDADE F EDERAL DE A LAGOAS
I NSTITUTO DE C OMPUTAÇÃO
P ROGRAMA DE P ÓS -G RADUAÇÃO EM I NFORMÁTICA

Dissertação de mestrado

Sistema de Validação de Aspectos Técnicos e Pedagógicos
de Videoaulas: Construindo Recomendações e
Visualizações para Apoiar o Professor

Júlio César Ferreira Silva de Holanda
jcfsh@ic.ufal.br

Orientador:
Alan Pedro da Silva
Co-orientador:
Ranilson Oscar Araújo Paiva

JÚLIO CÉSAR FERREIRA SILVA DE HOLANDA

O RIENTADOR ( A )
P ROF. D R . A LAN P EDRO DA S ILVA
C O -O RIENTADOR ( A )
P ROF. D R . R ANILSON O SCAR A RAÚJO PAIVA

M ACEIÓ , AL
O UTUBRO - 2021

Catalogação na Fonte
Universidade Federal de Alagoas
Biblioteca Central
Divisão de Tratamento Técnico
Bibliotecário: Marcelino de Carvalho Freitas Neto – CRB-4 - 1767
H722s

Holanda, Júlio César Ferreira Silva de.
Sistema de validação de aspectos técnicos e pedagógicos de
videoaulas : construindo recomendações e visualizações para apoiar o
professor / Júlio César Ferreira Silva de Holanda. – 2021.
76 f. : il.
Orientador: Alan Pedro da Silva.
Coorientador: Ranilson Oscar Araújo Paiva.
Dissertação (mestrado em Informática) - Universidade Federal de
Alagoas. Instituto de Computação. Maceió, 2021.
Bibliografia: f. 73-74.
Apêndices: f. 75-76.
1. Videoaula. 2. Montagem de sistemas. 3. Learning analytics. 4.
Dashboards (Sistema de informação gerencial). 5. Aceitação de tecnologia. I.
Título.
CDU: 004.65

UNIVERSIDADE FEDERAL DE ALAGOAS/UFAL
Programa de Pós-Graduação em Informática – PPGI
Instituto de Computação/UFAL
Campus A. C. Simões BR 104-Norte Km 14 BL 12 Tabuleiro do Martins
Maceió/AL - Brasil CEP: 57.072-970 | Telefone: (082) 3214-1401

Folha de Aprovação

JULIO CESAR FERREIRA SILVA DE HOLANDA

SISTEMA DE VALIDAÇÃO DE ASPECTOS TÉCNICOS E PEDAGÓGICOS DE
VIDEOAULAS: CONSTRUINDO RECOMENDAÇÕES E VISUALIZAÇÕES PARA
APOIAR O PROFESSOR.
Dissertação submetida ao corpo docente do Programa
de Pós-Graduação em Informática da Universidade
Federal de Alagoas e aprovada em 29 de outubro de
2021.
Banca Examinadora:

________________________________________
Prof. Dr. ALAN PEDRO DA SILVA
UFAL – Instituto de Computação
Orientador

__________________________________________
Prof. Dr. RANILSON OSCAR ARAUJO PAIVA
UFAL – Instituto de Computação
Coorientador

________________________________________
Prof. Dr. DIEGO DERMEVAL MEDEIROS DA CUNHA MATOS
UFAL – Instituto de Computação
Examinador Interno

________________________________________
Prof. Dr. RAFAEL FERREIRA LEITE DE MELLO
UFRPE- Universidade Federal Rural de Pernambuco
Examinador Externo

Aquele que desiste por medo de falhar, já falhou

Agradecimentos

Agradeço primeiramente a Deus, pois sem ele eu não teria encontrado forças para chegar
até aqui. Agradeço em seguida à minha esposa Abigail Paranhos, por todo o apoio que me
deu e por estar sempre ao meu lado, até mesmo durante as longas horas que passei acordado
em algumas noites. Agradeço a meus pais, José Antônio e Lucineide, por sempre ligarem
para mim quando eu precisava ouvir suas vozes, e por sempre se preocuparem sobre como
eu estava. Agradeço à minha irmã Júlia Caroline e meu irmão José Antônio Filho, pois a
presença deles sempre me divertiu e me ajudou a aliviar o estresse acumulado. Agradeço ao
meu orientador, professor Alan Pedro da Silva, por todo apoio, orientação e por ter me dado
a chance de trabalhar com um tema o qual me sinto à vontade e me interesso. Agradeço
ao meu co-orientador, professor Ranilson Paiva, o qual me orienta desde 2017 com a maior
paciência deste mundo, uma pessoa admirável e um profissional com o qual me sinto feliz
em dizer que me espelho nesta caminhada acadêmica. Agradeço a Fernanda Mota e Kelly
Oliveira, alunas de doutorado e mestrado, respectivamente, do CEDU, que me ajudaram
e tiraram muitas dúvidas sobre pedagogia. Agradeço aos professores Fernando Pimentel
e Tiago Vieira, por terem aceitado o convite de participação da minha qualificação e pela
direção que apontaram para que eu pudesse seguir com este trabalho. Agradeço aos meus
amigos de longa data dos grupos do Toco e Taverna do Dragão, pois eles me fizeram sorrir
muito em momentos obscuros nestes últimos anos, todos sempre companheiros e presentes.
Agradeço a meus colegas de mestrado, Carla e Emerson, duas pessoas que admiro muito
pela resiliência, esforço e comprometimento, que esta caminhada termine com o sucesso
de vocês, não apenas na vida acadêmica, mas também em suas vidas pessoais. Por fim,
agradeço ao Instituto de Computação e a UFAL, por mais de 6 anos de oportunidades que
me ofereceram, eu não estaria aqui se não fosse por todo o time de professores, servidores,
colegas e amigos que fizeram parte de minha rotina a tanto tempo. Muito obrigado!

Resumo

Com o avanço da tecnologia de educação e a tendência de aceitação de ambientes virtuais de
aprendizagem como MOOCs e plataformas de vídeo como o YouTube por parte de alunos
e professores, a migração para estes tipos de plataformas é cada vez maior, e os professores
que decidem aceitar a mudança devem se adequara produção de material didático específico
para tais ambientes online. As videoaulas são o principal material didático disponível em
boa parte dos cursos e aulas online, mas sua produção desafia o conhecimento técnico prévio
que boa parte dos professores possuem. Como forma de apoiar o professor na produção de
videoaulas melhores, este trabalho propõe um Sistema de Validação de Videoaulas (SVV),
caracterizado por processar os vídeos dos professores e retornar uma série de informações e
dados apresentáveis e de fácil leitura e entendimento. Um primeiro estudo foi realizado para
detectar os aspectos das videoaulas mais relevantes para a aceitação de alunos sobre o material, os quais se destacaram a duração do vídeo, tipo de apresentação do vídeo (talking head),
frequência de mudança de cenas, presença de ruído, resolução da imagem e boa resolução de
problemas e questões no vídeo. Os aspectos foram utilizados para construir um dashboard
com informações sobre a videoaula baseadas nestes aspectos. Um segundo estudo mostrou
que o dashboard elaborado foi bem aceito por uma amostra de participantes que envolvia
estudantes e professores de computação, reforçando a utilidade da ferramenta proposta para
a melhoria de videoaulas.
Palavras-chave: Videoaula, Modelagem de Sistemas, Learning Analytics, Dashboard, Estudo de Aceitação de Tecnologia.

Abstract

With the advancement of education technology and the trend of acceptance of virtual learning environments such as MOOCs and video platforms such as YouTube by students and
teachers, the migration to these types of platforms is increasing, and the teachers who decide
accepting the change must adapt the production of specific teaching material for such online
environments. Video classes are the main teaching material available in most courses and
online classes, but their production challenges the prior technical knowledge that most teachers have. As a way to support the teacher in the production of better video lessons, this work
proposes a Video Lesson Validation System (SVV), characterized by processing the teachers
videos and returning a series of presentable, easy-to-read and understandable information
and data. A first study was carried out to detect the most relevant aspects of video classes for
the acceptance of students about the material, which highlighted the duration of the video,
type of video presentation (talking head), frequency of scene changes, presence of noise ,
image resolution and good resolution of problems and issues in the video. Aspects were
used to build a dashboard with information about the video class based on these aspects. A
second study showed that the dashboard was well accepted by a sample of participants that
involved computer students and teachers, reinforcing the usefulness of the proposed tool for
improving video classes.
Keywords: Video Lessons, System Modeling, Learning Analytics, Dashboard, Technology
Acceptance Study.

iii

List of Figures

Figure 1 – fluxo do SVV do ponto de vista do professor . . . . . . . . . . . . . . .

Figure 2 – fluxo do processamento do vídeo pelo SVV . . . . . . . . . . . . . . .

Figure 3 – gráfico de interações através do tempo gerado com base em interações de
alunos com o player de vídeo . . . . . . . . . . . . . . . . . . . . . . .

Figure 4 – gráfico de respostas corretas/incorretas e alternativas selecionadas . . . .

Figure 5 – diagrama do módulo de validação dos aspectos técnicos . . . . . . . . .

Figure 6 – diagrama do módulo de validação dos aspectos pedagógicos . . . . . . .

Figure 7 – dashboard que apresenta informações processadas ao professor . . . . .

Figure 8 – frame do vídeo 1, apresentando talking head do professor e linha de comando ao fundo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Figure 9 – card de recomendação com o uso das três cores de destaque . . . . . . .

Figure 10 – resultados da questão 2 . . . . . . . . . . . . . . . . . . . . . . . . . .

Figure 11 – resultados da questão 3 . . . . . . . . . . . . . . . . . . . . . . . . . .

Figure 12 – resultados da questão 4 . . . . . . . . . . . . . . . . . . . . . . . . . .

Figure 13 – resultados da questão 5 . . . . . . . . . . . . . . . . . . . . . . . . . .

Figure 14 – resultados da questão 6 . . . . . . . . . . . . . . . . . . . . . . . . . .

Figure 15 – talking head no canto inferior direito da tela cobre parte do conteúdo da
tabela . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Figure 16 – gráfico de percepção de melhoria da qualidade técnica . . . . . . . . . .

Figure 17 – gráfico de percepção de melhoria da qualidade pedagógica . . . . . . .

Figure 18 – gráfico de percepção de usabilidade do dashboard . . . . . . . . . . . .

Figure 19 – gráfico de percepção de utilidade de informação . . . . . . . . . . . . .

Figure 20 – gráfico de percepção de produtividade . . . . . . . . . . . . . . . . . .

Figure 21 – gráfico de percepção de apoio ao professor . . . . . . . . . . . . . . . .

Figure 22 – gráfico de percepção de design . . . . . . . . . . . . . . . . . . . . . .

Figure 23 – gráfico de percepção de usabilidade das recomendações . . . . . . . . .

Figure 24 – gráfico de percepção de finalidade das recomendações . . . . . . . . . .

Figure 25 – gráfico de percepção de utilidade das recomendações . . . . . . . . . .

Figure 26 – gráfico de percepção de aceitação das recomendações . . . . . . . . . .

Figure 27 – diagrama do TAM descrito por (VENKATESH, 2000) . . . . . . . . . .

Figure 28 – modelo de aceitação utilizado para avaliar o dashboard, adaptado de
(VENKATESH, 2000) . . . . . . . . . . . . . . . . . . . . . . . . . . .

Figure 29 – percepção sobre as recomendações . . . . . . . . . . . . . . . . . . . .

Figure 30 – percepção de utilidade . . . . . . . . . . . . . . . . . . . . . . . . . . .

List of Tables

Table 1 – comparação entre os critérios dos principais trabalhos relacionados e a
proposta deste trabalho . . . . . . . . . . . . . . . . . . . . . . . . . . .

Table 2 – aspectos técnicos e seus valores esperados . . . . . . . . . . . . . . . . .

Table 3 – comparação entre os aspectos dos três vídeos produzidos . . . . . . . . .

Table 4 – duração de cada trecho selecionado dos vídeos . . . . . . . . . . . . . .

Table 5 – preferência dos participantes por cada trecho de vídeo seguindo as categorias apresentadas. Os trechos mais escolhidos estão em verde . . . . . . .

Table 6 – configuração de aspectos do vídeo 1 (vídeo preferido) . . . . . . . . . . .

Table 7 – lista de termos chaves obtidos . . . . . . . . . . . . . . . . . . . . . . .

Table 8 – respostas para a questão 1 . . . . . . . . . . . . . . . . . . . . . . . . .

Table 9 – relação entre afirmações das questões 7 até 17 e percepções de aceitação
de tecnologia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Table 10 – quantidade de respostas por alternativa de cada questão . . . . . . . . . .

Table 11 – aspectos de cada vídeo que cumprem os requisitos . . . . . . . . . . . .

Table 12 – valores de desvio padrão, média, moda, mediana, mínimo e máximo de
cada questão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Contents

List of Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

List of Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vii
1

Introdução . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.1

Contexto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.2

Problema de Pesquisa . . . . . . . . . . . . . . . . . . . . . . . . .

1.2.1

Problema Técnico . . . . . . . . . . . . . . . . . . . . .

1.3

Proposta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.4

Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.5

Hipóteses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.6

Relevância . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.7

Metodologia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.8

Organização do Trabalho . . . . . . . . . . . . . . . . . . . . . . .

Fundamentação Teórica . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.1

O Ciclo de Vida de um Vídeo Educacional . . . . . . . . . . . . . .

2.1.1

Etapa de Produção . . . . . . . . . . . . . . . . . . . . .

2.1.2

Etapa de Publicação . . . . . . . . . . . . . . . . . . . .

2.1.3

Etapa de Pós-publicação . . . . . . . . . . . . . . . . . .

Medindo a Qualidade de um Vídeo Educacional . . . . . . . . . . .

2.2.1

Definindo um Critério de Qualidade . . . . . . . . . . . .

2.3

Dashboards e Visualizações de Dados . . . . . . . . . . . . . . . .

2.4

Sistemas de Recomendação . . . . . . . . . . . . . . . . . . . . . .

2.4.1

Recomendações Explicadas . . . . . . . . . . . . . . . .

Trabalhos Relacionados . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.2

3.1

Modelling and statistical analysis of YouTube’s educational videos:
A channel Owner’s perspective . . . . . . . . . . . . . . . . . . . .

3.2

Estimating the cognitive value of YouTube’s educational videos: A
learning analytics approach . . . . . . . . . . . . . . . . . . . . . .

3.3

What motivates university students to like or dislike an educational
online video? A sentimental framework . . . . . . . . . . . . . . .

3.4

Evaluating The Relevance of Educational Videos using BKT and Big
Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.5

Produção e Avaliação de Videoaulas: Um Estudo de Caso no Ensino
de Programação . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.6

Effective Educational Videos: Principles and Guidelines for Maximizing Student Learning from Video Content . . . . . . . . . . . .

3.7

Videoaulas: aspectos técnicos, pedagógicos, aplicações e bricolagem

3.8

Comparando com a Proposta . . . . . . . . . . . . . . . . . . . . .

Proposta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.1

Sistema de Validação de Videoaulas . . . . . . . . . . . . . . . . .

4.2

Aspectos de Qualidade de uma Videoaula . . . . . . . . . . . . . .

4.2.1

Aspectos Técnicos . . . . . . . . . . . . . . . . . . . . .

4.2.2

Resolução do Vídeo . . . . . . . . . . . . . . . . . . . .

4.2.3

Duração do Vídeo . . . . . . . . . . . . . . . . . . . . .

4.2.4

Taxa de Transmissão do Áudio (Bitrate) . . . . . . . . . .

4.2.5

Presença de Ruído no Áudio . . . . . . . . . . . . . . . .

4.2.6

Apresentação do Vídeo . . . . . . . . . . . . . . . . . .

4.2.7

Frequência Média de Cenas . . . . . . . . . . . . . . . .

Aspectos Pedagógicos . . . . . . . . . . . . . . . . . . . . . . . .

4.3.1

Interações ao Longo da Videoaula . . . . . . . . . . . . .

4.3.2

Resolução de Questões . . . . . . . . . . . . . . . . . . .

Módulos do SVV . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.4.1

Módulo de Validação dos Aspectos Técnicos . . . . . . .

4.4.2

Módulo de Validação dos Aspectos Pedagógicos . . . . .

4.4.3

Módulo Geração de Recomendações . . . . . . . . . . .

4.3

4.4

4.4.3.1

Recomendação para Apresentação do Vídeo . .

4.4.3.2

Recomendação para Detecção de Ruído . . . . .

4.4.3.3

Recomendação para Duração do Vídeo . . . . .

viii

4.4.3.4

Cenas . . . . . . . . . . . . . . . . . . . . . . .

4.4.3.5

Recomendação para Resolução do Vídeo . . . .

4.4.3.6

Recomendação para Taxa de Transmissão de Áudio (bitrate) . . . . . . . . . . . . . . . . . . .

Recomendação para Resolução de Questões . .

Apresentando Resultados da Validação ao Professor . . . . . . . . .

Metodologia e Design do Estudo . . . . . . . . . . . . . . . . . . . . . . .

5.1

Produção das Videoaulas . . . . . . . . . . . . . . . . . . . . . . .

5.2

Experimento 1: Preferências de Alunos e Professores Quanto aos

4.4.3.7
4.5
5

Recomendação para Frequência de Mudança de

Aspectos das Videoaulas Produzidas . . . . . . . . . . . . . . . . .

5.2.1

Design do Estudo . . . . . . . . . . . . . . . . . . . . . .

5.2.2

Objetivo . . . . . . . . . . . . . . . . . . . . . . . . . .

5.2.3

Hipóteses . . . . . . . . . . . . . . . . . . . . . . . . . .

5.3

Design do Dashboard . . . . . . . . . . . . . . . . . . . . . . . . .

5.4

Experimento 2: Validação do Dashboard . . . . . . . . . . . . . .

5.4.1

Design do Estudo . . . . . . . . . . . . . . . . . . . . . .

5.4.2

Objetivo . . . . . . . . . . . . . . . . . . . . . . . . . .

5.4.3

Hipóteses . . . . . . . . . . . . . . . . . . . . . . . . . .

Resultados e Discussões . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6.1

6.2

6.3

Experimento 1: Preferências de Alunos e Professores Quanto aos
Aspectos das Videoaulas Produzidas . . . . . . . . . . . . . . . . .

6.1.1

Trechos Preferidos pelos Participantes . . . . . . . . . . .

Experimento 2: Validação do Dashboard . . . . . . . . . . . . . .

6.2.1

Gráfico de Interações Através do Tempo . . . . . . . . .

6.2.2

Gráficos de Resolução de Questões . . . . . . . . . . . .

6.2.3

Cards Sobre os Aspectos da Videoaula . . . . . . . . . .

6.2.4

Likerts de Aceitação do Dashboard . . . . . . . . . . . .

Análise e Reflexão Sobre os Dados . . . . . . . . . . . . . . . . . .

6.3.1

Vídeo Preferido pelos Participantes e Aspectos Técnicos
mais Relevantes . . . . . . . . . . . . . . . . . . . . . .
ix

6.3.2

Aceitação do Dashboard . . . . . . . . . . . . . . . . . .

6.3.2.1

Percepção de Melhoria de Qualidade Técnica . .

6.3.2.2

Percepção de Melhoria de Qualidade Pedagógica

6.3.2.3

Percepção de Usabilidade do Dashboard . . . .

6.3.2.4

Percepção de Utilidade de Informação . . . . .

6.3.2.5

Percepção de Produtividade . . . . . . . . . . .

6.3.2.6

Percepção de Apoio ao Professor . . . . . . . .

6.3.2.7

Percepção de Design . . . . . . . . . . . . . . .

6.3.2.8

Percepção de Usabilidade das Recomendações .

6.3.2.9

Percepção de Finalidade das Recomendações . .

6.3.2.10

Percepção de Utilidade das Recomendações . .

6.3.2.11

Percepção de Aceitação das Recomendações . .

6.3.2.12

Technology Acceptance Model (TAM) . . . . . .

Conclusão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
APPENDIX A Material Suplementar . . . . . . . . . . . . . . . . . . . . . . 75
1

Lista de Percepções Consideradas . . . . . . . . . . . . . . . . . . . . . .

1 Introdução

Introdução
Vídeos são uma das principais fontes de informação da atualidade. Desde a populariza-

ção da internet ao fim dos anos 90, e sendo impulsionado com o surgimento do Youtube1
em 2005, o consumo de vídeos online tem apresentado constante crescimento, ao ponto que
nos dias de hoje inúmeros serviços de interesse comum podem ser encontrados digitalmente
na forma de vídeos, como noticiários, esportes, entretenimento, entre outros. Dentre estes
serviços, a educação demonstra potencial para se estabelecer cada vez mais nos meios digitais, fornecendo alternativas aos métodos de ensino tradicionais que se baseiam no uso de
vídeos para permitir que o professor complemente o conteúdo de suas aulas, ou simplesmente
ofereça conteúdos completos em formato digital (NAGUMO; TELES; SILVA, 2019)(SANTOS et al., 2015).

1.1

Contexto

Não é por acaso que a popularidade de videoaulas esteja cada vez maior. Graças
a plataformas como o Youtube e outras dedicadas exclusivamente a conteúdo educativo
(Coursera, Khan Academy, Udemy, entre outras), a oferta e a demanda por este tipo de
conteúdo tem se tornado cada vez maior, a exemplo disto, como mostra o Censo EaD.br
2019/20202 , a Ead no Brasil apresentou um crescimento considerável e tem as videoaulas e
vídeos complementares como dois dos tipos de conteúdo mais oferecidos, junto de textos e
livros digitais.
Alguns cenários tratam a produção de videoaulas como um processo complexo, que
envolve uma equipe e várias etapas (SPANHOL; SPANHOL, 2009). Normalmente estes
cenários envolvem um investimento por parte de uma instituição, que encomenda os vídeos
a uma produtora. Mas também existem os cenários onde um professor, partindo da própria
vontade ou necessidade, começa a gravar videoaulas para seus alunos, por querer complementar seu conteúdo, ou para ofertar cursos completos em plataformas online (NAGUMO;
TELES; SILVA, 2019)(SANTOS et al., 2015). O ano de 2020, em específico, apresentou
um desafio considerável para a educação no Brasil e no mundo (DANIEL, 2020), pois com
a pandemia do Covid-19 as aulas presenciais foram suspensas, e o conteúdo precisou, em
1
2

Disponível em: https://www.youtube.com
Disponível em: http://abed.org.br/arquivos/CENSO_EAD_2019_PORTUGUES.pdf

1 Introdução

boa parte dos casos, migrar para plataformas online de aprendizagem. Os professores foram
afetados, pois muitos não eram familiarizados com as tecnologias disponíveis para fornecer
aulas online. Com isto foi exposta a dificuldade que professores do Brasil e do mundo, de
modo geral, possuíam em migrar para o ambiente online e adaptar seus cursos para o formato
de vídeo.

1.2

Problema de Pesquisa

Videoaulas são, geralmente, um tipo de conteúdo complexo de se produzir, pois é uma
mídia que pode assumir diversos formatos visuais, como talking-head, instructor on center, board on center, voice over, entre outros (CHORIANOPOULOS, 2018)(LAASER;
TOLOZA, 2017). Por ser uma mídia, também envolve aspectos técnicos de sua produção,
como gravação, edição e planejamento (BAHIA; SILVA, 2017), assim, cada formato de
vídeo pode envolver um tipo de esforço específico para ser produzido, além do equipamento
necessário e conhecimento mínimo sobre como gravar, editar e publicar um vídeo na internet.
É um desafio para o professor perceber os problemas e inconformidades (SPANHOL;
SPANHOL, 2009) nos vídeos que produz, como dito por (BARRéRE, 2014) “[...] pelo fato
de trazer características não inerentes à profissão de professor, a avaliação de vídeos não é
algo trivial [...]”. Por conta disso, professores podem recorrer a uma bancada de especialistas
(FILHO et al., 2020) ou a uma equipe de profissionais (SPANHOL; SPANHOL, 2009) para
validar a qualidade de uma videoaula produzida, em ambos os casos os dois resultados possíveis são: (1) a aprovação do vídeo para publicação e (2) a reprovação do vídeo, que volta
para etapas anteriores com o objetivo de passar por retrabalho para corrigir os possíveis problemas, como defeitos no áudio (S.; G., 2020)(BARRéRE, 2014) e na imagem (BARRéRE,
2014), longa duração (SANTOS et al., 2015), trechos monótonos que podem não atrair os
alunos (SHARMA et al., 2016), entre outros.
No entanto, se tratando de uma produção de videoaula amadora (MATTAR, 2009) é de se
entender que o professor, muito provavelmente, não terá a seu dispor uma equipe para lidar
com as etapas de validação do material, sejam profissionais da área (SPANHOL; SPANHOL,
2009) ou uma bancada de especialistas acadêmicos (FILHO et al., 2020), o que implica no
próprio professor ser o responsável pela avaliação do material produzido, e, sendo o profes-

1 Introdução

sor muitas vezes inexperiente com relação às boas práticas para se produzir uma videoaula,
corre-se o risco de sua validação não ser eficiente. É interessante que seja executada uma boa
validação do vídeo, pois isso pode ajudar a encontrar e tratar problemas derivados das más
práticas durante a produção, permitindo que o vídeo seja publicado com a melhor qualidade
possível (RAABE; BERNARDES; JUNIOR, 2014) e possibilitando um melhor engajamento
dos alunos ao assistirem o vídeo pela primeira vez (BRAME, 2016)(GUO; KIM; RUBIN,
2014).
Deste modo, entendendo as limitações que normalmente afetam o professor durante a
produção de videoaulas e compreendendo a importância de uma etapa de validação bem
executada, tem-se como desafios (1) a necessidade de se entender quais as boas práticas que
permitam ao professor melhorar um vídeo, (2) identificar nos vídeos do professor as más
práticas e (3) apresentar ao professor as más práticas para que possam ser corrigidas. Assim,
é possível expressar estes desafios com os seguintes problemas de pesquisa: quais as boas
práticas que possibilitam a produção de uma videoaula com boa qualidade? e como expor
ao professor as más práticas presentes em seus vídeos?
1.2.1

Problema Técnico

Enquanto foram listados dois problemas gerais de pesquisa, é interessante notar que, para
se obter resultados nos dois problemas, principalmente o segundo, é necessário suprir débitos
técnicos referentes aos desafios 2 e 3. Primeiramente, o desafio 2 (“identificar nos vídeos do
professor as más práticas”) implica nos vídeos produzidos pelo professor serem analisados
a fim de se entender quais as más práticas presentes. Esta análise pode ser realizada de duas
maneiras: manual ou automática.
A análise manual implica em um ser humano (o professor neste caso) assistir ao vídeo
e identificar as más práticas por conta própria. Como dito anteriormente, é comum que
produções maiores possam contar com profissionais qualificados (SPANHOL; SPANHOL,
2009) ou especialistas acadêmicos (FILHO et al., 2020) para avaliar os vídeos, alguns trabalhos sugerem até utilizar alunos durante a produção para coletar feedback do vídeo antes
de publicá-lo (RAABE; BERNARDES; JUNIOR, 2014). No entanto, considerando um professor sem experiência ou recursos para analisar a videoaula, contar com auxílio de terceiros
nem sempre é possível. A análise automática, por outro lado, utiliza a computação para

1 Introdução

processar o vídeo e identificar as más práticas. Neste caso o professor atua apenas enviando
seus vídeos para um servidor de aplicação, que executa os processamentos necessários e
retorna como resultado os dados sobre as más práticas identificadas. Em trabalhos como
(SHOUFAN, 2018)(SHOUFAN, 2019)(SHARMA et al., 2016)(MACHARDY; PARDOS,
2015) é de se notar o uso de modelos computacionais para analisar alguns aspectos menos
objetivos de videoaulas, como o valor cognitivo de um vídeo (SHOUFAN, 2018), relevância
de um vídeo para um assunto (MACHARDY; PARDOS, 2015) ou o engajamento do vídeo
(SHARMA et al., 2016). No entanto, a implementação destes modelos não é trivial e deve
levar em conta dois desafios: (1) entender quais dados do vídeo identificam más práticas e
(2) identificar a melhor estratégia para se extrair cada tipo de dado.
O desafio 3, por sua vez, requer que, ao identificar as más práticas, seja possível
apresentá-las ao professor. Neste caso, esta apresentação pode ser interpretada como uma recomendação que indica ao professor a má prática identificada e sugestões de como resolvê-la.
Deste modo, é interessante definir como estas recomendações serão apresentadas ao professor.
Com isto, é possível definir os problemas técnicos como sendo: quais os dados do vídeo
com os quais é possível identificar as más práticas?, como extrair os dados das más práticas
do vídeo? e como construir recomendações de melhorias a partir destes dados?

1.3

Proposta

A proposta deste trabalho tem como base os problemas de pesquisa apresentados e consiste na descrição e fundamentação de um Sistema de Validação de Videoaulas (SVV),
cobrindo todas as etapas desde o upload do vídeo no sistema, passando pelo processamento
dos dados e retornando no final uma lista de recomendações de melhorias do vídeo, junto
de visualizações sobre aspectos de interesse do professor, no formato de um dashboard. O
sistema proposto divide-se em três módulos principais: (1) módulo de validação dos aspectos técnicos, (2) módulo de validação dos aspectos pedagógicos e (3) módulo de geração de
recomendações.
O módulo de validação dos aspectos técnicos é o primeiro a ser executado e sua principal utilidade é a de validar os aspectos técnicos da videoaula antes que o professor a publique,
a fim de melhorar o vídeo para que este chegue aos alunos com a melhor qualidade possível

1 Introdução

(RAABE; BERNARDES; JUNIOR, 2014). Os aspectos técnicos considerados são: qualidade de imagem, qualidade do áudio, presença do professor, mudança de tela, velocidade
da fala, ruídos e duração. Dada a variedade de aspectos técnicos, cada um deve ser extraído
do vídeo utilizando uma estratégia própria, alguns podem ser facilmente acessados através
dos metadados do vídeo (duração, resolução, taxa de frequência do áudio, etc), mas outros necessitam de estratégias mais complexas, como o uso de um modelo de classificação
pré-treinado.
O módulo de validação dos aspectos pedagógicos, por sua vez, se caracteriza por tratar
de aspectos mais subjetivos do vídeo. Visto que aspectos pedagógicos são bastante subjetivos, utilizar apenas dados da etapa de produção do vídeo tornaria o processo de validar
estes aspectos muito complexos e pouco confiáveis, já que a subjetividade torna difícil dizer
se o vídeo sofre de alguma má prática pedagógica. Deste modo a validação dos aspectos
pedagógicos ocorre após a publicação do vídeo, quando alunos já tiverem assistido ao material. Com isto é possível extrair dados das interações dos alunos com o vídeo e utilizá-los
para gerar recomendações. Os aspectos pedagógicos considerados são: dificuldade do vídeo,
dificuldade das questões presentes no vídeo e evasão de alunos no vídeo.
Por fim, o módulo de geração de recomendações consiste na etapa final tanto da validação técnica quanto da validação pedagógica. Os dois módulos de validação irão retornar
apenas os dados informando as más práticas identificadas, enquanto que o módulo de geração
de recomendações irá receber estes dados e montar a lista de recomendações.

1.4

Objetivos

O objetivo geral deste trabalho é o de descrever toda a arquitetura e processos do Sistema
de Validação de Videoaulas, o qual deve manter a proposta de identificar más práticas do
vídeo e gerar recomendações de melhorias para o professor. Os objetivos secundários deste
trabalho são a definição dos aspectos técnicos e pedagógicos que devem ser validados em
uma videoaula, encontrar estratégias descritas na literatura que permitam extrair dados
sobre os aspectos do vídeo e elaborar visualizaçõe e recomendações ao professor que o
tornem capaz de melhorar os vídeos. Para isto, é necessário que as visualizações geradas
sejam facilmente entendidas pelo professor, e que as recomendações propostas apresentem
explicações e sugestões de forma clara.

1 Introdução

1.5

Hipóteses

As duas hipóteses que direcionam os esforços deste trabalho são as seguintes: (1) os
aspectos de produção de videoaula selecionados como boas práticas geram vídeos mais atrativos e (2) um dashboard gerado pelo SVV ajuda seu usuário a melhorar uma videoaula.

1.6

Relevância

Este trabalho é relevante para a área da informática, pois, nos últimos anos o crescimento
constante da EaD e do uso de videoaulas na internet cada vez mais exige que professores
migrem para ambientes virtuais de aprendizagem, e esta migração não é fácil, apresentando
diversos desafios de adaptação para os educadores. A proposta do SVV pode impactar diretamente esta migração, servindo de apoio aos professores sem experiência em videoaulas,
mas também pode ser aplicada a produção profissional de videoaulas, controle de qualidade
em ambientes virtuais de aprendizagem, entre outros. Outro aspecto relevante deste trabalho
é o foco não apenas em aspectos técnicos, mas também em aspectos pedagógicos, o que é
consideravelmente escasso na literatura de computação atualmente.

1.7

Metodologia

A metodologia utilizada se baseia na criação de protótipos para avaliar os conceitos propostos através de experimentos qualitativos. Foram criados protótipos de visualizações (gráficos a serem vistos pelo professor), recomendações (a serem recebidas pelo professor) e
telas (um dashboard contendo informações de interesse do professor sobre os aspectos da
videoaula). As visualizações foram criadas em um trabalho anterior, e se baseiam em interações dos alunos com os vídeos, assim são geradas visualizações para interações através do
tempo e respostas para questões in-video. As recomendações foram criadas com base em
boas práticas descritas na literatura, e se apresentam como sugestões de melhoria do vídeo.
O dashboard, por sua vez, é uma tela que une as visualizações e as recomendações de modo a
ajudar o professor a validar o vídeo com base nos aspectos técnicos e pedagógicos definidos.
Para se definir os aspectos técnicos foi realizada uma busca na literatura. O resultado
desta busca nos retornou um conjunto de aspectos com potencial para se validar a qualidade
técnica de um vídeo. Com base nestes aspectos técnicos, foram produzidas três videoaulas

1 Introdução

com o tema “Introdução a programação com Python: Tipos de Variáveis”, cada um com
boas e más práticas com base nos aspectos definidos. Estes vídeos foram utilizados em um
experimento para validar a preferência dos alunos e professores sobre os aspectos pesquisados, além de ajudar a definir os aspectos pedagógicos a serem utilizados para a construção
do dashboard. Mais detalhes serão providos na seção 5.

1.8

Organização do Trabalho

O trabalho está organizado da seguinte forma: no capítulo 2 apresentamos os Fundamentos Teóricos para a apropriada compreensão do trabalho. No capítulo 3 apresentamos
os principais Trabalhos Relacionados, comparando-os com a nossa proposta. No capítulo
4 a Proposta em si é detalhada. O capítulo 5 descreve a Metodologia e Design do Estudo,
que foram utilizados na elaboração de experimentos e análise dos dados. No capítulo 6 são
apresentados os Resultados e Discussões. Por fim, o capítulo 7 é dedicado à Conclusão do
trabalho.

2 Fundamentação Teórica

Fundamentação Teórica
Nesta seção são apresentados os conceitos básicos para o entendimento da proposta con-

struída.

2.1

O Ciclo de Vida de um Vídeo Educacional

Um vídeo educacional possui um ciclo de vida que é dividido em etapas, cada qual
com suas características e importância. Três etapas principais do ciclo de vida podem ser
destacadas: (1) a etapa de produção do vídeo, (2) a etapa de publicação e (3) a etapa de
pós-publicação.
2.1.1

Etapa de Produção

A etapa de produção abrange os estágios iniciais da concepção de um vídeo educacional,
o que significa ter um início no planejamento do material, definindo os assuntos abordados,
a duração que um vídeo precisa ter, se a aula será dividida em mais de um vídeo e qual o
roteiro do que será dito, seguindo para a criação dos materiais complementares ao vídeo,
como imagens e diagramas que aparecem ao longo do vídeo, e, por fim, a gravação e edição
do vídeo educacional (BAHIA; SILVA, 2017).
A produção de um vídeo educacional também deve levar em consideração alguns fatores
como o tempo de produção e o custo para produzir o vídeo. Para se atingir uma boa qualidade, o tempo de produção de um vídeo educacional pode levar atingir 28 horas para resultar
em um material de cerca de 60 minutos de duração (3 vídeos de 20 minutos3 ), considerando
uma produção que passa por etapas como escrita de roteiro, gravação, decupagem(processo
de seleção dos melhores trechos gravados para serem utilizados na edição), edição e revisão. O tempo de produção pode ser reduzido ignorando algumas destas etapas, sob orisco
de afetar a qualidade final do material. Além disso, os custos de produção podem variar
bastante, a depender dos softwares e equipamentos utilizados e da presença de uma equipe
para auxiliar com a produção. Softwares open source são gratuitos e permitem em geral as
funcionalidades mais básicas para a edição dos vídeos, enquanto que softwares profissionais
requerem uma licença de uso com mensalidade, cujos preços variam (podendo começar em
3

A exemplo do que é visto em: https://www.youtube.com/watch?v=1i0Tg5Tb6dA

2 Fundamentação Teórica

R$90,00 nos casos do Adobe Premiere e Adobe Audition4 para edição de vídeo e som, respectivamente). Contratar uma equipe profissional para a produção dos vídeos pode variar de
R$700,005 adiante, o que não está no orçamento de muitos professores que apenas querem
criar vídeos básicos para ambientes online de aprendizagem.
Toda a etapa de produção pode ser desenvolvida pelo professor de modo autônomo, o que
exigirá deste diversas habilidades, como a escrita de roteiros, definição de cronogramas de
produção, experiência com equipamento de gravação, conhecimento de softwares de edição
e manipulação de imagem/som, entre outras. Alguns dos softwares comumente utilizados na
produção do vídeo são o Adobe Premiere6 , Camtasia Studio7 , Sony Vegas8 (edição de vídeo),
Adobe Photoshop9 , Gimp10 (edição de imagens), Audacity11 e Adobe Audition12 (edição
de áudio). Por conta desta variedade de habilidades requisitadas, é comum que produções
maiores sejam feitas por uma equipe, onde os conhecimentos exigidos são divididos pelos
membros (BAHIA; SILVA, 2017).
Na literatura, esta etapa não é tão explorada, mas possui muito potencial, como é apontado por (RAABE; BERNARDES; JUNIOR, 2014), onde mudanças no vídeo foram aplicadas ainda em fase de produção e notou-se uma queda nas reações negativas ao vídeo após
a publicação. Trabalhar sobre melhorias durante a etapa de produção é interessante também
para reduzir o retrabalho do vídeo em etapas posteriores. No entanto, a fase de produção não
conta com a opinião do público alvo, o que pode dificultar os ajustes do vídeo com relação
ao que os usuários esperam.
2.1.2

Etapa de Publicação

A etapa de publicação, por outro lado, é uma etapa breve no ciclo de vida do vídeo educacional, e tem como principal característica e função a disponibilização do material para o
público (BAHIA; SILVA, 2017). Isto envolve saber os meios de publicação, as plataformas
escolhidas, a data, entre outras informações importantes que podem afetar desde o número
4
5
6
7
8
9
10
11
12

Valores disponíveis em: https://www.adobe.com/br/creativecloud/plans.html
Valores disponíveis em: https://astronautasfilmes.com.br
Disponível em: https://www.adobe.com/br/products/premiere.html
Disponível em: https://www.techsmith.com/video-editor.html
Disponível em: https://www.vegascreativesoftware.com/br/vegas-pro
Disponível em: https://www.adobe.com/br/products/photoshop.html
Disponível em: https://www.gimp.org
Disponível em: https://www.audacityteam.org
Disponível em: https://www.adobe.com/br/products/audition.html

2 Fundamentação Teórica

de visualizações que o vídeo pode ter, até às avaliações que pode receber (SAURABH; GAUTAM, 2018). O principal destino de um vídeo nesta etapa é um ambiente online de aprendizagem, ou seja, plataformas como o Moodle13 , edX14 , Udacity15 , Khan Academy16 , Coursera17 , entre outros. Uma alternativa aos ambientes online de aprendizagem é o YouTube, que
permite a publicação gratuita e monetização do vídeo, mas não é uma plataforma dedicada
exclusivamente a vídeos educacionais, e portanto não apresenta recursos dedicados como as
demais plataformas citadas.
2.1.3

Etapa de Pós-publicação

A etapa de pós-publicação é a mais extensa no ciclo de vida de um vídeo educacional,e
representa todos os procedimentos que ocorrem após a publicação do vídeo, como análise
da popularidade, aceitação dos usuários, correções do material com base em feedback, entre
outros. Como dito anteriormente, esta fase se beneficia da opinião do usuário para permitir
melhorar o vídeo (SHOUFAN, 2018), no entanto, modificar o vídeo nesta etapa é mais difícil,pois envolve refazer parte da produção e publicar o material novamente, o que demanda
tempo e outros gastos. Em plataformas como o Youtube esse tipo de procedimento pode
resultar até mesmo em uma publicação totalmente nova do material revisado, o que significa
que as visualizações e avaliações registradas antes são perdidas ou deixadas para trás.

2.2

Medindo a Qualidade de um Vídeo Educacional

Quando se fala em qualidade de vídeo é comum a ideia de que a imagem e som são
características que, quando apresentam boa qualidade, oferecem uma melhor experiência
a quem assiste o vídeo. Embora assistir vídeo com qualidade Full HD possa ser mais
confortável, para vídeos educacionais, outros critérios de qualidade podem ser mais convenientes. (MACHARDY; PARDOS, 2015), por exemplo, define que um possível critério
para a qualidade de um vídeo educacional é a relevância do vídeo para um dado assunto.
Diferente da qualidade de imagem e som de um vídeo, este é um critério mais complexo de
13
14
15
16
17

Disponível em: https://moodle.org
Disponível em: https://www.edx.org
Disponível em: https://www.udacity.com
Disponível em: https://pt.khanacademy.org
Disponível em: https://pt.coursera.org

2 Fundamentação Teórica

se medir, pois não depende apenas de assistir e ouvir o material para se inferir a qualidade,
o que levou os autores a utilizar modelos estatísticos como o Bayesian Knowledge Tracing
(BKT) para ajudar a relacionar um vídeo a um assunto para o qual este seria relevante.
2.2.1

Definindo um Critério de Qualidade

Definir um critério de qualidade é essencial, pois este define o que a métrica da qualidade
tomará como base para a medição e o que o resultado da medição representa. Tomando o
trabalho de (MACHARDY; PARDOS, 2015) como exemplo novamente, a medição tomou
como base a relação entre um vídeo e um assunto, mas os próprios autores deixam claro que
o resultado da métrica não representa a qualidade do vídeo educacional em termos gerais,
apenas que, para determinados assuntos, um vídeo pode ser relevante para os estudos de um
aluno. (SHOUFAN, 2018) também apresenta sua métrica para qualidade de vídeos educacionais, o Valor Cognitivo do Vídeo (VCV), que toma como base features cognitivas (redundância, voz, coerência, entre outras) e avaliações de alunos para se definir a eficiência de
ensino de um vídeo. Embora o autor estabeleça a eficiência de ensino do vídeo como sendo
o critério utilizado na métrica, os resultados obtidos não demonstraram boa relação entre as
features cognitivas e as avaliações dos alunos, onde no fim o VCV se mostrou uma métrica
mais interessante para avaliar elementos estéticos do vídeo (como o estilo da apresentação),
do que a eficiência de ensino.
A questão da eficiência do vídeo para o ensino é novamente abordada em (BRAME,
2016), que apresenta princípios e guias para se construir um vídeo educacional com boa
qualidade, utilizando o critério da eficiência. Para isto, a autora divide a eficiência de ensino
de um vídeo em três categorias: carga cognitiva, engajamento do aluno e aprendizagem
ativa. Esta definição de qualidade como eficiência de ensino foi a escolhida para ser utilizada
nesta proposta, devido a boa fundamentação na qual o estudo de (BRAME, 2016) se apoia
e na aplicabilidade que os princípios descritos possuem para vídeos de diversos domínios de
ensino, visto que a proposta desta pesquisa, apesar de ser aplicada em um estudo envolvendo
vídeos de ensino de programação, apresenta uma solução genérica, que não está direcionada
a um domínio de conhecimento em específico. O próprio trabalho de (BRAME, 2016) possui
foco para o ensino de biologia, embora os aspectos que o trabalho lista sejam genéricos o
suficiente para serem aplicados em outras áreas.

2 Fundamentação Teórica

2.3 Dashboards e Visualizações de Dados
O uso de técnicas de visualização de dados é prática comum no cenário científico, seja
para analisar o comportamento de um conjunto de dados, como dados de engajamento de
estudantes com vídeos (GUO; KIM; RUBIN, 2014), para visualizar o fluxo de um processo,
como o processo de produção de uma videoaula (SPANHOL; SPANHOL, 2009), definir um
modelo, como em (VENKATESH; DAVIS, 2000), entre outros. No entanto, enquanto as
visualizações são úteis para a pesquisa científica e o uso de especialistas, o mesmo não pode
ser dito de professores fora do meio científico, os quais, a depender do tipo de visualização
apresentada, podem sentir dificuldades em analisar os dados (MOTTUS et al., 2015), visto
que esta não é nem uma tarefa fácil, nem rotineira para um professor (BARRéRE, 2014).
O uso de dashboards é então empregado com o propósito de facilitar a interpretação de
dados por parte dos professores (MOTTUS et al., 2015), ainda fornecendo uma ferramenta
central para a análise do conteúdo, visto que um dashboard é capaz de apresentar dados de
diversas origens e tipos. As visualizações de dados de um dashboard, por sua vez, devem ser
mais legíveis e fáceis de serem entendidas, em alguns casos é possível que sejam interativas
e permitam ao professor manipular, com certas limitações, a amostra de dados apresentados. Isso permite que os usuários da ferramenta sintam-se mais confortáveis com seu uso e
obtenham acesso a informações mais interessantes (MOTTUS et al., 2015).

2.4

Sistemas de Recomendação

Com o aumento da carga de informações na internet, a busca por informações passou a
apresentar o problema do acesso a conteúdos que, por conta dos algoritmos de priorização
e personalização de resultados (como o dos buscador do Google), se tornaram inacessíveis
por estarem muito abaixo na pilha de resultados de uma busca (ISINKAYE; FOLAJIMI;
OJOKOH, 2015). Isso é um problema para o usuário (que tem o acesso ao conteúdo dificultado) e também para o produtor do conteúdo (que se vê inalcançável ao usuário final).
Como forma de resolver este problema, surgem os sistemas de recomendação, com a
promessa de serem sistemas auxiliares, que recomendam aos usuários conteúdos que eles podem gostar de receber, mesmo que não seja exatamente aquilo o que procuram (ISINKAYE;
FOLAJIMI; OJOKOH, 2015). Atualmente, os sistemas de recomendação são parte vital de

2 Fundamentação Teórica

plataformas que geram quantidades massivas de informações, como plataformas de vídeos
(YouTube, Netflix), lojas virtuais (Amazon, Mercado Livre, Steam) e redes sociais (Facebook, Instagram), tanto para a recomendação de conteúdo exclusivo da plataforma, quanto
para a recomendação de anúncios ao usuário.
2.4.1

Recomendações Explicadas

Embora sejam por si só úteis, é comum que usuários queiram entender por que uma
informação ou conteúdo está sendo recomendado (JAMESON; SMYTH, 2007). Em uma
plataforma como a Netflix, por exemplo, filmes podem ser recomendados sob diversos motivos diferentes: estão em alta (outros usuários estão consumindo muito o conteúdo), estão
alinhados com a preferência do usuário (se o usuário assistir muitos filmes de terror, serão
recomendados outros filmes de terror), possuem boas avaliações (outros gostaram de um
certo filme, então talvez o usuário também goste). Além disso, uma recomendação de filme
na netflix sempre vem acompanhada de um pequeno trecho escrito que destaca o motivo da
recomendação (como, por exemplo, “recomendado a você por gostar do diretor X”). Como
dito em (JAMESON; SMYTH, 2007), a explicação de uma recomendação é vista como uma
informação que pode colocar o usuário em uma melhor posição para julgar o material recomendado e alcançar uma decisão final (consumir, ou não, o conteúdo).

3 Trabalhos Relacionados

Trabalhos Relacionados
O foco da proposta deste trabalho, que será detalhado nas seções seguintes, é a avaliação

da qualidade de um vídeo educacional ainda em fase de produção, ou seja, quando ainda não
foi publicado. A literatura apresenta poucos trabalhos relacionados à fase de produção de
vídeos educacionais com foco em qualidade, mas muitos trabalhos existem no contexto de
pós-publicação dos mesmos.

3.1

Modelling and statistical analysis of YouTube’s educational
videos: A channel Owner’s perspective

Em (SAURABH; GAUTAM, 2018) o foco na pós-publicação de vídeos educacionais é
bastante explícito, mas justificável, pois o trabalho apresenta uma análise detalhada de dados
provenientes de um canal do YouTube. A plataforma de vídeos do YouTube permite que
os donos de canais tenham disponíveis algumas informações sobre os usuários que assistem
seus vídeos, como tempo médio assistido por vídeo, localização dos usuários, idiomas, likes
dos vídeos, visualizações, entre outros. Com isto, os autores apresentam um guia para a
interpretação destes dados e conseguem relacionar informações como idade do canal e a
frequência de uploads com a popularidade do vídeo.

3.2

Estimating the cognitive value of YouTube’s educational videos:
A learning analytics approach

Em (SHOUFAN, 2018), por sua vez, o objetivo do trabalho é relacionar features cognitivas (redundância, voz, coerência, entre outras) de vídeos do Youtube a uma métrica chamada
Valor Cognitivo do Vídeo (VCV), que é contabilizada a partir do número de likes dos vídeos.
Através de análise de correlação, no entanto, não foram apresentados resultados satisfatórios,
pois apenas 4 das 10 features analisadas se relacionam bem com o VCV, as demais apresentaram uma relação não tão forte com o VCV, o que não justifica o uso do VCV no lugar
de outras métricas, como o número de visualizações do vídeo, por exemplo. Ainda assim,
o artigo encontrou uma boa relação do VCV com a apresentação do vídeo (estilo, qualidade de imagem e de som, e outros aspectos técnicos) e o autor sugere, em sua conclusão,

3 Trabalhos Relacionados

que avanços podem ser feitos com o apoio de outras áreas de pesquisa, como a psicologia
cognitiva.

3.3

What motivates university students to like or dislike an educational online video? A sentimental framework

(SHOUFAN, 2018) deu origem a um trabalho subsequente em (SHOUFAN, 2019), que
buscava justamente entender os motivos que levam um estudante a dar like em um vídeo educacional, o que envolve desde os aspectos técnicos dos vídeos, humor do professor, conteúdo
apresentado, forma com que o conteúdo é apresentado, entre outros. O artigo conclui que o
número de likes é um indicador de qualidade do vídeo, visto que está fortemente relacionado
a avaliações detalhadas de estudantes em experimentos, e cita que as features estudadas podem servir de base para a recomendação de melhorias nos vídeos durante a fase de produção.

3.4

Evaluating The Relevance of Educational Videos using BKT and
Big Data

Outro trabalho que apresenta uma métrica para avaliar um vídeo educacional é
(MACHARDY; PARDOS, 2015), que mostra como relacionar a relevância de um vídeo para
o aprendizado de um dado assunto. Essa métrica é dada através de análises estatísticas aplicando modelos como o Bayesian Knowledge Tracing (BKT) e os autores compararam os
resultados com diferentes combinações do BKT e de vídeos educacionais. A métrica se
mostrou bastante útil para recomendar vídeos para estudantes, visto que relaciona bem um
vídeo a um assunto visto, mas não reflete a qualidade geral dos vídeos, como os próprios
autores deixam claro.

3.5

Produção e Avaliação de Videoaulas: Um Estudo de Caso no
Ensino de Programação

Pensando em termos de qualidade, (RAABE; BERNARDES; JUNIOR, 2014) é um dos
poucos trabalhos que focam de fato na fase de produção dos vídeos educacionais e apresenta resultados que confirmam os benefícios de se aplicar mudanças aos vídeos antes da

3 Trabalhos Relacionados

publicação, para reduzir chances de aceitação negativa do público. O trabalho consiste na
produção de um vídeo educacional de programação que recebe constantes melhorias através
das opiniões de alunos que a assistiram e que é validada, ao fim, por um grupo de teste
composto por outros alunos que não assistiram o vídeo em estados anteriores de produção.

3.6

Effective Educational Videos: Principles and Guidelines for Maximizing Student Learning from Video Content

Por fim, (BRAME, 2016) apresenta os princípios e guidelines que os vídeos educacionais devem obedecer para garantir uma boa efetividade de ensino, dividindo efetividade
em três categorias principais: carga cognitiva, aprendizagem ativa e engajamento do estudante. Mesmo sendo um trabalho realizado com base em vídeos educacionais de biologia,
as categorias são bastante gerais e se aplicam a todos os tipos de vídeos educacionais, incluindo os de ensino de programação, o que faz os princípios definidos por (BRAME, 2016)
uma métrica interessante para se avaliar a qualidade de um vídeo em termos de efetividade
de ensino, podendo ser utilizada na fase de produção como feedback semelhante ao de um
aluno (RAABE; BERNARDES; JUNIOR, 2014).

3.7

Videoaulas:

aspectos técnicos, pedagógicos, aplicações e

bricolagem
Neste trabalho, (BARRéRE, 2014) apresenta uma série de informações técnicas sobre
videoaulas (como formatos de vídeos e suas particularidades, constituição de vídeos a partir
de imagens de diferentes formatos, meios de publicação de vídeos, entre outros), além de
seus aspectos de produção, onde o autor descreve os principais usos de uma videoaula, e
como isto afeta sua produção (impactando no formato da videoaula, duração, roteiro, entre
outros aspectos), e estabelece uma série de métricas que definem valores aceitáveis de aspectos técnicos como a resolução do vídeo, presença de ruído e duração do vídeo, além de
citar alguns aspectos pedagógicos como linguagem e adequação do conteúdo apresentado,
propondo formas de avaliar alguns destes aspectos.

3 Trabalhos Relacionados

3.8

Comparando com a Proposta

Nesta seção, é realizada a comparação entre os trabalhos relacionados e a proposta desta
pesquisa. Abaixo estão listados os critérios de comparação e, na tabela 1, sumariza-se a
comparação.
1. Identifica Aspectos de Qualidade Técnica das Videoaulas
2. Identifica Aspectos de Qualidade Pedagógica das Videoaulas
3. Apresenta Métricas para Qualidade das Videoaulas
4. Lida com Vídeos na Fase de Produção
5. Sugere Melhorias às Videoaulas

Trabalhos Relacionados e Proposta
(SAURABH; GAUTAM, 2018)
(SHOUFAN, 2018)
(SHOUFAN, 2019)
(MACHARDY; PARDOS, 2015)
(RAABE; BERNARDES; JUNIOR, 2014)
(BRAME, 2016)
(BARRéRE, 2014)
Proposta

1
SIM
SIM
SIM
NÃO
SIM
SIM
SIM
SIM

Critérios
2
3
4
NÃO NÃO NÃO
SIM SIM NÃO
NÃO NÃO NÃO
NÃO SIM NÃO
NÃO NÃO SIM
SIM NÃO NÃO
SIM SIM NÃO
SIM SIM SIM

5
NÃO
NÃO
SIM
NÃO
NÃO
SIM
NÃO
SIM

Table 1 – comparação entre os critérios dos principais trabalhos relacionados e a proposta
deste trabalho

4 Proposta

Proposta
Como apresentado anteriormente, a análise manual de um vídeo feita pelo professor

pode não ser tão eficiente, visto que realizar uma análise de uma videoaula não é trivial para
o professor (BARRéRE, 2014). Com isto em mente, ajudar o professor a construir melhores
videoaulas é também um desafio que envolve ajudar o professor a validar os próprios vídeos.
Alguns trabalhos discorrem sobre boas práticas para se construir boas videoaulas (BRAME,
2016), mas este conhecimento muitas vezes não alcança o professor. Neste trabalho, é apresentada a proposta do Sistema de Validação de Videoaulas (SVV), que tem como objetivo
servir de conceito para uma ferramenta capaz de estreitar a distância entre professores e o
conhecimento de produção de videoaulas de qualidade, com foco na melhoria de aspectos
técnicos e pedagógicos.

4.1

Sistema de Validação de Videoaulas

Do mesmo modo que a etapa de edição de uma videoaula pode depender do uso de
softwares que auxiliam a edição do material, o SVV é uma ferramenta proposta para auxiliar
o professor durante a etapa de validação da videoaula. É interessante, no entanto, observar
que softwares de edição (seja de áudio ou vídeo) são complexos e demandam tempo para
que seja possível obter bons resultados de seu uso.
A proposta do Sistema de Validação de Videoaulas visa um sistema que deve ser de
fácil uso, sem adicionar mais uma camada de complexidade ao processo de produção de
videoaulas, o que dificulta a vida do professor. O SVV é, para o professor, uma caixa preta
capaz de processar sua videoaula e retornar somente as informações pertinentes sobre os
aspectos técnicos e pedagógicos do vídeo. A Figura 1 ilustra o fluxo conceitual do SVV do
ponto de vista do professor.
O upload do vídeo é o primeiro passo no fluxo do SVV executado pelo professor e
consiste apenas no envio do vídeo para o servidor que irá processar os dados, inicialmente
nenhum dado adicional é enviado. O processamento do vídeo é o passo mais complexo
e consiste na extração de dados do vídeo (o que pode ocorrer via manipulação direta do
arquivo ou com o auxílio de um modelo computacional, a depender dos dados que devem
ser extraídos), comparação dos dados extraídos com métricas (para definir se os aspectos do

4 Proposta

Figure 1 – fluxo do SVV do ponto de vista do professor

vídeo que os dados representam estão dentro do esperado) e construção de recomendações
com sugestões de como melhorar os aspectos do vídeo que estão abaixo das métricas. O
último passo é a apresentação dos resultados, que devem ser legíveis para o professor. Isso
quer dizer que os dados obtidos do processamento devem ser tratados para que o professor
os entenda de maneira fácil e direta, na visão de (BARRéRE, 2014) esse é um ponto que
requer atenção, visto que o professor, normalmente, não está acostumado a lidar com dados
brutos sobre videoaulas.

Figure 2 – fluxo do processamento do vídeo pelo SVV

Para poder processar o vídeo, o SVV deve saber quais aspectos técnicos e pedagógicos ele deve procurar. Estes aspectos irão definir os critérios de qualidade do vídeo que

4 Proposta

devem ser validados. Para validar estes aspectos, o SVV deve contar com dois módulos:
(1) o módulo de validação de aspectos técnicos e (2) o módulo de validação de aspectos
pedagógicos. Os dois módulos de validação possuem funcionamento distinto e são descritos
nas seções abaixo. No entanto, apesar de funcionarem de modo diferente um do outro, ambos os módulos de validação retornam como resultado uma lista de problemas encontrados
no vídeo, a qual cada elemento da lista é um aspecto do vídeo que recebeu uma análise negativa (por exemplo, se a resolução do vídeo for 638 x 360, abaixo do esperado, o aspecto de
“resolução do vídeo” entra para a lista de problemas). Em adição, o SVV também conta com
um módulo de geração de recomendações, que gera recomendações com base na lista de
problemas resultantes das validações.

4.2

Aspectos de Qualidade de uma Videoaula

Para ser possível implementar um SVV, é preciso conhecer quais aspectos de uma
videoaula definem sua qualidade. Para esta proposta, é definido que os aspectos são divididos em dois grupos: (1) aspectos técnicos e (2) aspectos pedagógicos. Estes aspectos
foram escolhidos com base em estudos presentes na literatura, levando em consideração o
impacto que representam na qualidade final do vídeo e como podem ser extraídos do vídeo e
interpretados (aspectos que a literatura descreve, mas que são difíceis de coletar e mensurar
por serem muito subjetivos ou complexos foram desconsiderados).
4.2.1

Aspectos Técnicos

Os aspectos técnicos de uma videoaula definem a qualidade da mesma, considerando as
características que o vídeo obtém ao longo de sua produção. Isto inclui características como
a resolução do vídeo, o estilo de apresentação do vídeo (talking-head, voice over, gravação
de sala de aula, entre outros), presença de ruído no áudio, entre outros. De modo geral, os
aspectos técnicos definem a apresentação do vídeo para os alunos e é um dos fatores que mais
impactam na aceitação do vídeo assim que é publicado (RAABE; BERNARDES; JUNIOR,
2014). Outra característica dos aspectos técnicos das videoaulas é que eles tendem a ser
mais objetivos ou passíveis de medição (BARRéRE, 2014), como a duração que pode variar
entre 9 e 13 minutos (SANTOS et al., 2015) sem que o vídeo seja considerado longo, ou a

4 Proposta

presença de ruído que pode ser considerada inapropriada por simplesmente estar presente no
vídeo (S.; G., 2020).
Para definir os aspectos técnicos foi realizado um experimento envolvendo professores e
alunos (mais detalhes na seção 5). Deste experimento foram definidos 6 aspectos técnicos
relevantes com base na opinião de professores e alunos, sendo eles: resolução do vídeo,
duração do vídeo, taxa de transmissão do áudio (bitrate), presença de ruído no áudio, estilo
da apresentação do vídeo e a frequência média de cenas.
4.2.2

Resolução do Vídeo

A resolução do vídeo é o aspecto técnico que define o número de pixels presente em
cada frame da videoaula, o que impacta diretamente a nitidez da imagem, legibilidade de
textos e na distorção da visualização do vídeo em monitores mais modernos (resoluções
como 1024 x 576 às vezes são ampliadas em monitores HD18 ). Atualmente as plataformas
de compartilhamento de vídeo, como o Youtube®, e os ambientes virtuais de aprendizagem
já suportam vídeos com resolução HD (1366 x 720) e Full HD (1920 x 1080) (no caso do
Youtube® há também o suporte a altíssimas resoluções, acima de Full HD, como o 4K).
No entanto, não é necessário que o vídeo possua a mais alta definição disponível nas
plataformas de ensino. O ideal é que a resolução do vídeo seja compatível com a resolução
das telas em que o vídeo é reproduzido, ou seja, resoluções a partir do HD são suficientes
para uma boa experiência de videoaula, visto que boa parte dos computadores domésticos,
TVs e celulares ainda contam com telas HD ou Full HD. A resolução pode ser extraída
através da manipulação direta do vídeo, de modo relativamente simples. A estratégia mais
comum é a de coletar um quadro (frame) do vídeo e contar quantos pixels este frame possui,
tanto de altura quanto de largura, obtendo assim a resolução do frame, que pode ser generalizada como a resolução do vídeo. Outra estratégia consiste em utilizar bibliotecas prontas
de manipulação de vídeos e imagens (como o MoviePy19 do Python), que possuam funções
para extrair facilmente a resolução do vídeo.
A resolução do vídeo está imprópria quando o valor da resolução extraída é menor, em
altura ou largura, que o valor definido como ideal. Para esta proposta, o valor ideal mínimo
18
19

High Definition, alta definição em português.
Disponível em: https://github.com/Zulko/moviepy

4 Proposta

da resolução do vídeo é o de 1366 x 720 (resolução HD).
4.2.3

Duração do Vídeo

A duração é, por sua vez, um aspecto técnico do vídeo que afeta diretamente o engajamento que o aluno terá com o material. Vídeos muito longos podem se tornar difíceis de
assistir de uma só vez, fazendo com que os alunos percam o interesse a partir de certo momento do vídeo. É sabido, no entanto, que para diferentes tipos de vídeos educacionais, a
literatura define uma duração média ideal, suficiente para ser possível assistir ao vídeo sem
sacrificar muito do engajamento dos alunos. Para vídeos tutoriais, (SANTOS et al., 2015)
define que o ideal sejam vídeos de até 7 minutos, por exemplo. No entanto, videoaulas, por
serem, geralmente, mais carregadas de conteúdo, podem chegar aos 11 minutos (SANTOS
et al., 2015).
Para se extrair a duração de um vídeo, o método mais simples e direto é, novamente, o
uso de bibliotecas de manipulação de vídeos, que muitas vezes já possuem funções prontas
para suprir esta necessidade. Assim, uma videoaula apresenta uma duração não ideal quando
o valor extraído é superior a 11 minutos, tomando como base o estudo feito por (SANTOS
et al., 2015).
4.2.4

Taxa de Transmissão do Áudio (Bitrate)

A taxa de transmissão de áudio (ou bitrate do áudio) é um aspecto técnico do vídeo que
afeta a qualidade geral do áudio da aula e está, normalmente, relacionada ao formato do
arquivo de áudio presente no vídeo (HINES et al., 2015). Um bitrate baixo fará com que
o áudio do vídeo perca dados, reduzindo a qualidade. Um exemplo pode ser visto no link
presente no rodapé desta página20 , que compara diferentes taxas de transmissão de áudio.
O valor médio ideal da taxa de áudio é definido como 128Kbps seguindo as ConFigurações recomendadas de codificação de envio21 disponibilizadas pelo YouTube®, que define
esta taxa como ideal para o upload de áudio monofônico. Algumas plataformas, como o
Udemy®, aceitam taxas acima de 128Kbps (kilobits por segundo), diferente do YouTube®
que se limita a 128Kbps. Do mesmo modo que a duração e a resolução do vídeo, a taxa de
20
21

Comparação entre diferentes bitrates: https://youtu.be/WFBgxJM7cGU
Disponível em: https://support.google.com/youtube/answer/1722171

4 Proposta

transmissão do áudio pode ser extraída com o auxílio de bibliotecas de linguagens de programação dedicadas à manipulação de vídeo (como a já citada MoviePy, que possui funções
específicas para lidar com o bitrate de arquivos de áudio).
4.2.5

Presença de Ruído no Áudio

A presença de ruído de fundo no áudio do vídeo pode ser bastante incômoda e distrair
os alunos que assistem ao vídeo (S.; G., 2020). Por conta disto, detectar e tratar a presença
do ruído é uma habilidade interessante que pode garantir uma boa qualidade aos vídeos
produzidos pelo professor. No entanto, a própria detecção de ruído não é uma operação trivial
de se executar, diferente dos aspectos técnicos vistos até então, que podiam ser extraídos com
o auxílio de bibliotecas de manipulação de vídeo.
O método proposto por (S.; G., 2020) utiliza um modelo baseado em deep learning22
capaz de predizer a ocorrência de ruído em uma faixa de áudio. O modelo apresenta uma
acurácia de cerca de 90% no treino e 83% na validação. Para ser possível utilizar este modelo
é preciso preparar a faixa de áudio do vídeo do professor, que é um processo que pode
ser realizado utilizando uma biblioteca de manipulação de vídeo. O procedimento seria o
seguinte:
1. Extrair a faixa de áudio do vídeo (bibliotecas como o MoviePy são capazes de realizar
esta operação)
2. Converter o formato do áudio extraído para .wav (formato sem compressão, esta conversão também pode ser feita com bibliotecas como o MoviePy)
3. Utilizar o áudio convertido como input do modelo
O modelo proposto por (S.; G., 2020) divide o .wav em trechos menores e identifica
os trechos em que ocorre a presença de ruído com base no modelo treinado. O modelo
treinado conta com duas camadas densas e uma camada de output, mas os autores sugerem
que a adição de camadas adicionais podem melhorar o desempenho, algo que não é discutido
22

Aprendizagem Profunda em tradução livre. Um modelo baseado em deep learning possui como característica principal o uso de um, ou mais, algoritmo com o propósito de modelar abstrações de dados utilizando
uma rede de conexões com múltiplas camadas de processamento, constituídas de transformações de dados
de diversos tipos.

4 Proposta

apropriadamente no artigo. Além de detectar a presença de ruído, o modelo permite prever os
intervalos da faixa de áudio em que o ruído ocorre, o que é útil para construir recomendações
mais detalhadas (indicando ao professor o trecho do vídeo onde o ruído foi detectado).
4.2.6

Apresentação do Vídeo

Uma videoaula pode assumir diversos formatos de apresentação diferentes. Alguns formatos possíveis são listados em (LAASER; TOLOZA, 2017), sendo eles: slides com voice
over (apenas o slide com a voz do professor) (LAASER; TOLOZA, 2017), talking head
(slides com o professor aparecendo em um canto da tela) (CHORIANOPOULOS, 2018),
apenas o rosto do professor enquanto o mesmo fala (este formato é chamado de talking head
em (LAASER; TOLOZA, 2017), aparentemente as nomenclaturas não são padronizadas),
entre outros.
Em (SANTOS et al., 2015) é sugerido que projetos de videoaulas levem em consideração
a presença do professor no vídeo, o trabalho, no entanto, não deixa explícito qual o modo
mais adequado de se inserir o professor no material. As estratégias mais comuns de se
adicionar o professor são o talking head e o professor no quadro (CHORIANOPOULOS,
2018), outras estratégias que apresentam o professor, na maioria das vezes, derivam destas
duas.
Para se extrair informação sobre o tipo de apresentação do vídeo, no entanto, é necessário
o uso de um modelo computacional. Em (DONAHUE et al., 2015) é definido um modelo
baseado em Redes Neurais Convolucionais capaz de descrever o conteúdo de uma imagem
estática, ou de uma sequência de imagens (extraídas de um vídeo). Já em (SHARMA et al.,
2016) o modelo definido em (DONAHUE et al., 2015) é utilizado para auxiliar no cálculo de
uma métrica chamada vivacidade (liveliness (SHARMA et al., 2016)), para isso são utilizados três modelos: um para capturar o movimento do professor no vídeo, outro para extrair
features de espectrogramas do áudio e o último modelo é utilizado para classificar o tipo do
vídeo analisando individualmente cada frame em uma amostra de 10 segundos do vídeo. Os
modelos utilizados para capturar o movimento do professor e as features do áudio não são
tão relevantes para a apresentação do vídeo, mas o terceiro modelo é uma implementação
bastante interessante do modelo proposto por (DONAHUE et al., 2015).
Assim, o tipo de apresentação do vídeo pode ser classificado utilizando o modelo pro-

4 Proposta

posto por (DONAHUE et al., 2015) e utilizado por (SHARMA et al., 2016). A classificação
dos tipos do vídeo podem ser genéricas (apenas talking head e professor no quadro), ou
podem ser mais específicas (como talking head no canto superior direito, talking head no
canto superior esquerdo, professor no canto esquerdo do quadro, professor no canto direito
do quadro, entre outros), o que pode beneficiar a construção das recomendações.
4.2.7

Frequência Média de Cenas

A frequência média de cenas é o aspecto técnico que dita o ritmo visual do vídeo, e tem
impacto no engajamento do aluno, visto que vídeos com ritmo lento podem ser entediantes,
enquanto que vídeo com ritmo frenético pode sobrecarregar os estudantes com informações
visuais. Segundo (SANTOS et al., 2015), o tamanho médio das cenas de um vídeo (Average Shot Length) deve ser de aproximadamente 50 segundos, considerando vídeos com
duração média de até 13 minutos. Com isto, a frequência média de cenas ideal seria de,
aproximadamente, 1,2 cenas por minuto.
Para se calcular a quantidade de cenas de um vídeo, no entanto, é necessário identificar
estas cenas. A alternância entre cenas de um vídeo é geralmente caracterizada pela alteração
dos visuais apresentados na tela. É possível identificar a alteração de entre as cenas de um
vídeo com um modelo de sumarização (APOSTOLIDIS et al., 2021), no entanto a sumarização de vídeos frequentemente captura keyframes muito próximos entre si e não reflete
a divisão real de cenas que o vídeo apresenta. Um método mais eficiente é o de detecção
de transições durante o vídeo (A.; S., 2019), que consiste em detectar o fim de uma cena e
começo da seguinte, seja sua transição brusca ou gradual.
O modelo proposto por (A.; S., 2019) utiliza uma abordagem baseada na captura das
cores e formas presentes em cada frame de um vídeo, funcionando tanto casos que apresentam transições bruscas (sem efeitos especiais), quanto as que apresentam efeitos de transição
(fade-in/out, wipe, dissolve, entre outros). O modelo recebe como entrada um vídeo, que é
dividido em seus frames, que por sua vez são utilizados para se extrair as features de cor e de
formas de cada momento do vídeo. O modelo treinado em (A.; S., 2019) permite, com isto,
identificar os frames de transição entre cenas, deste modo, é possível calcular a frequência
média de cenas do vídeo.

4 Proposta

4.3

Aspectos Pedagógicos

Diferente dos aspectos técnicos, os aspectos pedagógicos das videoaulas são mais subjetivos, o que os caracteriza como não sendo triviais de se medir a qualidade, tanto do ponto de
vista computacional quanto do ponto de vista do professor (BARRéRE, 2014). Alguns aspectos pedagógicos presentes em videoaulas são, por exemplo, a dicção do professor, qualidade
da explicação, uso de elementos como questões, exemplos, textos e imagens, entre outros.
Estes aspectos são difíceis de se avaliar, pois, mesmo que estejam presentes no vídeo, não
é possível medir a qualidade por meio de métricas. Por exemplo, uma prática pedagógica
recomendada é a adição de questões ao vídeo (BRAME, 2016), com o intuito de manter o
aluno ativo e interagindo com o vídeo. No entanto, a simples presença da questão no material
não garante que a questão foi bem elaborada, se sua dificuldade é justa, se os alunos serão
capazes de entendê-la e resolvê-la.
Neste caso, o feedback dos alunos possui um papel importante para a avaliação dos aspectos pedagógicos (RAABE; BERNARDES; JUNIOR, 2014), pois a partir dele é possível
observar se as questões adicionadas ajudam na aprendizagem, ou se atrapalham, se os alunos
se mantém interessados no conteúdo do vídeo, se elementos visuais como imagens e textos
chamam a atenção do aluno, entre outros. Em trabalho realizado previamente (HOLANDA,
2019), foi possível observar que as interações dos alunos com os vídeos através do player
(em ações como play, pause, seek forward, seek backward, entre outros) explicam muito sobre a relação entre estudante e videoaula, permitindo a elaboração de visualizações de dados
com o intuito de ajudar o professor a detectar más práticas relacionadas a aspectos pedagógicos do vídeo. Os aspectos pedagógicos a serem abordados neste trabalho são: (1) o número
de interações dos alunos com o vídeo ao longo do tempo e; (2) A resolução de questões
vinculadas ao vídeo.
4.3.1

Interações ao Longo da Videoaula

Considere que uma videoaula apresenta um slide com três parágrafos de texto, cada um
contém 10 linhas e o slide permanece estático na tela por 20 segundos. Os alunos, ao se
depararem com o slide, pausam o vídeo para poder ler o texto, pois não conseguem ler tudo
em apenas 20 segundos, nem prestar atenção na fala do professor enquanto leem. Ao pausar
o vídeo, os alunos estão interagindo com a videoaula, tirando proveito da mídia, o que é

4 Proposta

vantajoso para o aprendizado (ZHANG et al., 2005)(NAGUMO; TELES; SILVA, 2019).
Ao longo de uma videoaula este tipo de interação é comum, assim como outros tipos
(voltar a um trecho anterior para tirar dúvidas, avançar trechos monótonos, pular para um
momento de explicação específico do vídeo, entre outros23 ), no entanto, quando a maioria
dos alunos passa a interagir em momentos muito específicos do vídeo, gerando um padrão
ou pico de interações, sinaliza que há algo importante ocorrendo no referido trecho do vídeo.
Utilizando novamente o exemplo do slide contendo muito texto, se muitos alunos param o
vídeo naquele momento é por que eles têm dificuldade em ler todo o texto no ritmo do vídeo,
ou não conseguem acompanhar o professor, ou o vídeo falha em transmitir o conteúdo verbalmente, se apoiando no uso excessivo de elementos textuais. Nestes casos, a atitude do
professor em corrigir este trecho do vídeo traz benefícios aos alunos e a qualidade pedagógica do material.
Em um trabalho anterior (HOLANDA, 2019) foi possível desenvolver um player de
vídeo capaz de capturar interações de diversos tipos (play, pause, seek forward/backward,
e até mesmo interações com questões, que eram suportadas pelo player). A captura das
interações do vídeo era realizada com o apoio de eventos disparados pelo player (feito em
HTML5), e as interações capturadas eram armazenadas em um banco de dados e utilizadas
posteriormente para gerar visualizações sobre o número de interações ao longo do vídeo e
sobre respostas corretas/incorretas de questões. A Figura 3 apresenta um exemplo de visualização gerada com dados de interações coletadas em um experimento.
É de se notar, na Figura 3, que existem picos de interação em alguns momentos do vídeo,
que podem ser de interesse do professor em investigar os motivos. Também é possível notar
que a tendência de interações cai ao longo do vídeo, o que pode representar desinteresse dos
alunos enquanto assistem o material, outro problema que o professor pode se interessar em
investigar.
4.3.2

Resolução de Questões

Outro aspecto pedagógico que pode ser investigado é a resolução de questões por parte
dos alunos. No experimento realizado com o player de vídeo em (HOLANDA, 2019), foi
possível capturar interações sobre as alternativas das questões que os alunos clicavam, as23

Essas interações não são possíveis de se realizar em uma aula presencial.

4 Proposta

Figure 3 – gráfico de interações através do tempo gerado com base em interações de alunos
com o player de vídeo

sim como as alternativas que eles escolhiam como corretas. Isto permitiu a construção de
visualizações como a da Figura 4.

Figure 4 – gráfico de respostas corretas/incorretas e alternativas selecionadas

Com este tipo de informação o professor pode entender o desempenho dos alunos nas
questões e observar se estão com dificuldades em uma questão específica, em um assunto
específico, ou se o vídeo está com algum problema (uma explicação pouco detalhada, ou
uma questão que não foi bem construída).

4 Proposta

4.4

Módulos do SVV

Com os aspectos técnicos e pedagógicos definidos, é possível estabelecer a arquitetura
dos módulos do sistema como segue abaixo.
4.4.1

Módulo de Validação dos Aspectos Técnicos

O módulo de validação dos aspectos técnicos deve receber o vídeo enviado via upload
e tratá-lo para servir de parâmetro para as estratégias de manipulação e modelos computacionais definidos para cada um dos 6 aspectos. A Figura 5 ilustra o passo a passo do módulo.

Figure 5 – diagrama do módulo de validação dos aspectos técnicos

Após processar o vídeo e analisar os aspectos técnicos, este módulo retorna os valores

4 Proposta

de cada aspecto para comparação com os valores ideais extraídos da literatura e define se
os aspectos analisados estão apropriados. A Tabela 2 lista cada aspecto e seus respectivos
valores esperados.
Aspecto Técnico
Apresentação do Vídeo
Detecção de Ruído
Duração do Vídeo
Frequência de Mudança de Cenas
Resolução do Vídeo
Taxa de Transmissão de Áudio (bitrate)

Valor Esperado
Talking head ou professor ao quadro
Ruído ausente
Entre 9 e 13 minutos (11 minutos com margem de erro de 2 minutos)
Média de 1 cena/min
1366 x 720 (HD) ou superior
No mínimo 128Kbps

Table 2 – aspectos técnicos e seus valores esperados

Cada aspecto que estiver inapropriado (Ex.: duração do vídeo com 50 minutos) será
adicionado à lista de problemas identificados, que será o objeto retornado pelo módulo de
validação dos aspectos técnicos.
4.4.2

Módulo de Validação dos Aspectos Pedagógicos

O módulo de validação dos aspectos pedagógicos, por sua vez, se difere do módulo anterior por não ser executado no momento que o professor faz o upload do vídeo, sendo executado após a publicação do vídeo. Para isso, o módulo de validação dos aspectos pedagógicos
deve estar vinculado a um ambiente virtual de aprendizagem que permita a coleta de interações com o vídeo, semelhante ao player de vídeo descrito em (HOLANDA, 2019). Este
vínculo é realizado através de uma API, como mostra a Figura 6 fornecida pelo player de
vídeo para acessar os dados das interações (o que inclui também os dados de resolução de
questões). Assim, as entradas do módulo de validação dos aspectos pedagógicos são o vídeo
enviado pelo professor e o conjunto de dados de interações dos alunos com o vídeo.
A saída do módulo de validação dos aspectos pedagógicos são dois conjuntos de dados, o
primeiro é o gráfico de interações ao longo da videoaula (Figura 3) junto da lista de interações
a cada 5 segundos, e o segundo é um conjunto de gráficos de resolução de questões (Figura
4) junto de uma lista com os percentuais de acerto de cada questão.

4 Proposta

Figure 6 – diagrama do módulo de validação dos aspectos pedagógicos

4 Proposta
4.4.3

Módulo Geração de Recomendações

O SVV é capaz de enviar recomendações ao professor, com sugestões sobre como melhorar um aspecto do vídeo com problemas ou más práticas. É proposto um conjunto de
sugestões de melhorias para todos os aspectos técnicos e para o aspecto pedagógico de “resolução de questões”, para cada um destes é gerada uma recomendação apenas quando é
detectado que o aspecto não atinge o valor esperado da métrica.
4.4.3.1

Recomendação para Apresentação do Vídeo

• Gerada quando: o tipo de apresentação do vídeo não é “talking head” ou “professor
ao quadro”
• Recomendações:
– Grave alguns trechos do vídeo com seu rosto no canto da tela enquanto fala
– Se está utilizando o quadro negro, fique ao lado das anotações do quadro enquanto explica o assunto
• Explicação: “alunos tendem a focar mais no conteúdo do vídeo quando o professor
está presente” (GUO; KIM; RUBIN, 2014)
4.4.3.2

Recomendação para Detecção de Ruído

• Gerada quando: ruído for detectado
• Recomendações:
– Grave os vídeos com um microfone dedicado, de preferência um headset
– Teste o áudio do microfone antes de iniciar as gravações
– Grave novamente os trechos em que foi identificado o ruído
– No caso de utilizar um microfone interno de notebook, tente não obstruí-lo
• Explicação: “a presença de ruído pode tirar o foco do aluno e impedir que a fala do
professor seja de fácil entendimento” (S.; G., 2020)

4 Proposta
4.4.3.3

Recomendação para Duração do Vídeo

• Gerada quando: o vídeo tiver mais que 13 minutos de duração
• Recomendações:
– Reduza a duração do vídeo removendo conteúdo e trechos desnecessários, para
atingir uma duração mais apropriada
– Divida o vídeo em vídeos menores, com duração mais apropriada
• Explicação: “vídeos muito longos tendem a desencorajar os alunos, que frequentemente os abandonam ou os ignoram” (BARRéRE, 2014)
4.4.3.4

Recomendação para Frequência de Mudança de Cenas

• Gerada quando: o vídeo tiver menos que 0,5 cenas /min ou mais que 1,5 cenas/min
• Para vídeo monótono (com 0,5 cenas/min ou menos):
– Recomendações:
* Tente não discursar por muito tempo em um único slide
* Adicione elementos variados a explicação (imagens, gifs, entre outros)
– Explicação: “vídeos monótonos são cansativos para o aluno, o deixando mais
entediado do que interessado no conteúdo” (SANTOS et al., 2015)(SHARMA
et al., 2016)
• Para vídeo frenético (com 1,5 cenas/min ou mais):
– Recomendações:
* Evite mudanças de slide desnecessárias durante a explicação
* Grave o vídeo com trechos mais longos ou com menos cortes
– Explicação: “vídeos frenéticos sobrecarregam o aluno, fazendo com que o
mesmo não processe o conteúdo do vídeo com clareza” (SANTOS et al.,
2015)(SHARMA et al., 2016)

4 Proposta
4.4.3.5

Recomendação para Resolução do Vídeo

• Gerada quando: a resolução do vídeo for menor que 1366 x 720 (HD)
• Recomendações:
– Grave o vídeo com uma câmera de alta resolução ou capturando a tela em resolução HD/Full HD
– Garanta que textos e imagens estão legíveis mesmo em resoluções mais baixas
• Explicação: “baixas resoluções dificultam a leitura de textos presentes no vídeo, além
de tornar o visual da videoaula menos atraente para o aluno” (BARRéRE, 2014)
4.4.3.6

Recomendação para Taxa de Transmissão de Áudio (bitrate)

• Gerada quando: o bitrate do vídeo for menor que 128Kbps
• Recomendações:
– Certifique-se de gravar o áudio do vídeo no formato .mp3
– Utilize um conversor para converter o formato do áudio atual para o formato .mp3
128Kbps
• Explicação: “baixas taxas de transmissão de áudio afetam a qualidade do som do
vídeo, o que pode ser incômodo para o aluno” (HINES et al., 2015)
4.4.3.7

Recomendação para Resolução de Questões

• Gerada quando: a taxa de acerto da questão for menor que 30
• Recomendações:
– Revise a escrita das questões e das alternativas
– Revise a explicação no vídeo sobre o tópico da questão
– Converse com o aluno sobre dificuldades encontradas

4 Proposta

• Explicação: “questões com baixa quantidade de acertos normalmente são questões
muito difíceis para o aluno, ou questões cujo assunto não foi bem abordado pelo
professor” (HOLANDA, 2019)(LI et al., 2015)

4.5

Apresentando Resultados da Validação ao Professor

Por fim, seguindo o fluxo definido na Figura 1, o SVV finaliza a validação do vídeo retornando os resultados do processamento ao professor, que devem aparecer de forma fácil de
compreender. O modo de apresentação proposto utiliza um dashboard que conta com elementos gráficos e textuais para representar tanto os aspectos técnicos e pedagógicos, quanto
às recomendações geradas. A Figura 7 apresenta o dashboard proposto.

Figure 7 – dashboard que apresenta informações processadas ao professor

O dashboard é dividido em quatro partes principais: (1) o gráfico de interações por tempo
no canto superior esquerdo, (2) uma lista de aspectos técnicos logo abaixo, (3) os gráficos
de resolução das questões listados à direita e (4) as recomendações geradas na parte inferior.
O uso de cores foi empregado de modo a facilitar o entendimento do professor, com a cor

4 Proposta

verde indicando uma informação positiva (respostas corretas, um aspecto técnico que está
de acordo com o esperado, entre outros), a cor vermelha indicando informações negativas
(como respostas incorretas, uma tendência que diminui com o tempo, aspectos técnicos que
não atingem o desempenho esperado, entre outros) e a cor azul indicando uma informação
com destaque.

5 Metodologia e Design do Estudo

Metodologia e Design do Estudo
É descrito nesta seção a metodologia utilizada para desenvolver a proposta deste trabalho,

assim como o design dos estudos executados a fim de se testar o dashboard elaborado. As
principais atividades executadas foram (1) a produção de três vídeos sobre “tipos de variáveis em Python”, (2) o uso dos vídeos produzidos em experimento para definir as preferências de professores e alunos em uma videoaula, o resultado deste experimento resultou nos
aspectos técnicos e pedagógicos da proposta, (3) elaboração do dashboard proposto e (4) a
execução de um experimento de avaliação do dashboard.

5.1

Produção das Videoaulas

A definição dos aspectos técnicos e pedagógicos utilizados na proposta deste trabalho
dependeu da execução de um experimento com o intuito de coletar as preferências de professores e alunos sobre videoaulas na forma de feedbacks (que tipo de vídeos eles preferem, se
vídeos longos incomodam, se a presença do professor os impacta, entre outros). No entanto,
para executar o experimento foi decidido que seriam utilizados vídeos feitos exclusivamente
para este trabalho. O objetivo da produção exclusiva destes vídeos foi o de criar cenários controlados onde seria possível observar quais aspectos de cada vídeo eram mais interessantes
para os participantes do experimentos que os assistiam.
Foram gravadas três videoaulas sobre um mesmo tema, intitulado “Introdução à Computação com Python: Tipos de Dados”. As três videoaulas possuem os mesmos elementos
em sua estrutura, sendo divididas em: introdução, explicação teórica sobre tipos de dados,
explicação prática com exemplos e resolução de questões. Mesmo abordando o mesmo tema,
cada videoaula implementou diferentes abordagens de apresentação de conteúdo e qualidade
técnica do material. O intuito disto foi o de comparar como os participantes do experimento
iriam reagir a diferentes configurações de um mesmo conteúdo.
Os seguintes aspectos de videoaulas foram retirados da literatura e considerados para
a produção de cada tipo de vídeo: duração, presença do professor em vídeo, resolução do
vídeo, presença de ruído no áudio, uso de transições de tela, frequência de mudança de cenas,
presença de questões, quantidade de texto por slide e resolução de questões. A configuração
de cada vídeo pode ser conferida na Tabela 3.

5 Metodologia e Design do Estudo
Aspectos
Duração
Presença do Professor
Resolução
Frequência de Mudança de Cenas
Presença de Ruído
Uso de Transições de Tela
Presença de Questões
Quantidade de Texto por Slide
Resolução de Questões

Vídeo 124
11:46
Sim (talking head)
1366x720
0,85 cenas/min
Sim
Não
Sim (ao fim do vídeo)
Baixa
Resolução com explicação

Vídeo 225
16:41
Não (voz sobre slides)
638x360
0,6 cenas/min
Sim
Não
Sim (durante o vídeo)
Baixa
Resolução sem explicação

Vídeo 326
17:03
Não (voz sobre slides)
1366x720
0,76 cenas/min
Não
Sim
Sim (durante o vídeo)
Alta
Resolução com explicação

Table 3 – comparação entre os aspectos dos três vídeos produzidos

Os três vídeos foram gravados com o mesmo equipamento: notebook para captura da tela
e execução de códigos na linha de comando, microfone do notebook, câmera do notebook
e OBS Studio27 para captura de imagem. Os vídeos 1 e 3 foram gravados em ambiente
fechado, com o ruído externo isolado, enquanto o vídeo 2 foi gravado em ambiente aberto,
com exposição a ruído. Apesar disso, o vídeo 1 apresenta ruído devido ao uso de teclado
mecânico para digitar os comandos e passar os slides, mesmo problema que ocorre com o
vídeo 2. O problema de ruído foi evitado no vídeo 3 utilizando o teclado próprio do notebook,
que é mais macio e silencioso.
O vídeo 1 é o único que apresenta o professor (Figura 8), e a escolha pelo tipo de apresentação “talking head” se deu por esta ser mais indicada para uma videoaula de programação
(GUO; KIM; RUBIN, 2014), em que há interação com a linha de comando. A resolução
dos vídeos 1 e 3 foi mantida a resolução padrão da tela do notebook, enquanto que a resolução do vídeo 2 foi capturada no formato 638 x 360 editando as configurações do OBS
Studio. Todos os vídeos apresentam questões, mas apenas no vídeo 1 as três questões são
apresentadas ao fim do vídeo, nos demais as questões aparecem logo após a apresentação do
conteúdo correspondente.
A frequência das cenas de cada vídeo não foi definida previamente, apenas calculada
posteriormente com base na quantidade de transições (bruscas ou graduais) entre cada cena
dos vídeos. O vídeo 1 foi roteirizado com falas breves e objetivas, enquanto os vídeos 2 e
3 foram produzidos com falas improvisadas e menos controle sobre o tempo de vídeo. O
resultado disto foram cenas mais longas nos vídeos 2 e 3 que as correspondentes no vídeo 1,
o que também reflete as durações dos três vídeos, onde o vídeo 1 é o mais curto.
27

Disponível em: https://obsproject.com/pt-br/download

5 Metodologia e Design do Estudo

Figure 8 – frame do vídeo 1, apresentando talking head do professor e linha de comando ao
fundo

5.2

Experimento 1: Preferências de Alunos e Professores Quanto
aos Aspectos das Videoaulas Produzidas

Para coletar as preferências dos professores e alunos sobre a qualidade de cada um dos
aspectos utilizados na produção dos três vídeos, foi elaborado um experimento qualitativo28 ,
com o objetivo de coletar dados de opiniões sobre cada um dos vídeos produzidos.
5.2.1 Design do Estudo
Este experimento foi baseado nos trabalhos realizados por (RAABE; BERNARDES; JUNIOR, 2014) e (GOLD; HOLODYNSKI, 2016). Em (RAABE; BERNARDES; JUNIOR,
2014) foi produzida uma videoaula, que foi validada com o feedback de estudantes, similar
ao proposto neste experimento, onde também é utilizado o feedback dos participantes (professores e alunos de cursos de computação), mas com o objetivo de extrair suas preferências.
O trabalho de (GOLD; HOLODYNSKI, 2016), por sua vez, apresenta um experimento com
trechos de vídeos, ao invés de vídeos completos. Isto se mostrou conveniente para a execução
deste estudo, pois os três vídeos produzidos apresentaram mais de 40 minutos de conteúdo.
Considerando que um experimento com esta duração seria cansativo para os participantes,
28

Disponível em: https://forms.gle/EApG83asR3imYu6C9

5 Metodologia e Design do Estudo
foi optado por dividir os vídeos em trechos menores.

Cada um dos vídeos foi divido em 4 trechos: (1) introdução, (2) explicação com a tabela
de tipos de dados em Python, (3) explicação do conceito de conversão implícita de tipos e (4)
apresentação/resolução de uma questão. Assim, a duração dos trechos de cada vídeo ficou
conforme a Tabela 4. Com a divisão, a duração total de todos os trechos somados ficou com
14:34 minutos, uma duração mais apropriada para o experimento executado.

Trecho 1
Trecho 2
Trecho 3
Trecho 4

Vídeo 1
0:15
1:43
1:39
0:50

Vídeo 2
0:17
1:31
1:47
0:40

Vídeo 3
0:13
2:25
1:41
1:33

Table 4 – duração de cada trecho selecionado dos vídeos

Durante este experimento, os participantes assistiam três trechos para responder uma
questão (por exemplo, os três trechos de introdução). A questão perguntava qual dos três
trechos eles preferiam, porque preferiam o que escolheram e por que não escolheram os
demais. Deste modo foi possível coletar o trecho preferido dos participantes e as opiniões
sobre cada trecho.
A análise das opiniões foi realizada lendo o que os participantes escreveram e codificando as respostas em termos chaves que representavam os aspectos que eles preferiram, ou
não gostaram. Por exemplo, um dos participantes escolheu um dos trechos com a seguinte
explicação: “A visualização do ‘professor’ na face cam e a ordem das palavras: ele aborda,
primeiramente, o assunto da aula, e somente após, se apresenta”, a partir daí é possível
notar que ele apreciou a “presença do professor” e a “ordem do conteúdo”.
5.2.2

Objetivo

O objetivo principal deste experimento foi o de coletar dados sobre os aspectos das
videoaulas que mais impactam as preferências de alunos e professores.
5.2.3

Hipóteses

A principal hipótese deste experimento é a de que as preferências dos alunos e professores estão alinhadas com os aspectos utilizados como base para a produção dos vídeos:

5 Metodologia e Design do Estudo

duração, presença do professor em vídeo, resolução do vídeo, presença de ruído no áudio,
uso de transições de tela, frequência de mudança de cenas, presença de questões, quantidade
de texto por slide e resolução de questões.

5.3 Design do Dashboard
O design do dashboard foi pensado para permitir que o professor fosse capaz de ler as
informações apresentadas e entender seu significado de forma clara e simplificada. Para
garantir isso, o layout escolhido permite que toda a informação exibida esteja agrupada e
seja distinguível (gráficos de questões ficam juntos, mas separados do gráfico de interações
por tempo, recomendações são agrupadas no inferior da tela e os aspectos técnicos do vídeo
estão agrupados ao centro).
O uso de cores também foi escolhido para facilitar a compreensão do professor, com o
uso de três cores de destaque: verde, vermelho e azul. A cor verde destaca informações positivas nos gráficos, aspectos e recomendações. A cor vermelha, de modo contrário, destaca
informações negativas. A cor azul, por sua vez, é utilizada para destacar informações neutras, mas de interesse do professor, como as curvas do gráfico de interações por tempo, ou
informações das recomendações que merecem destaque. A Figura 9 ilustra o uso do esquema
de cores em um card de recomendação.

5.4

Experimento 2: Validação do Dashboard

Para validar o dashboard proposto, foi realizado um estudo de interface29 , onde os
participantes do estudo responderam algumas questões sobre o dashboard. As questões
foram elaboradas com o intuito de calcular a aceitação dos participantes com o dashboard
(VENKATESH; DAVIS, 2000), além de medir a compreensão das visualizações propostas e
avaliar as recomendações.
5.4.1 Design do Estudo
Este experimento foi executado em um formulário contendo 20 questões sobre o dashboard. Os participantes (professores e alunos) receberam o dashboard e podiam consultá-lo
29

Disponível em: https://forms.gle/mwBNWZez5nPBVyxr9

5 Metodologia e Design do Estudo

Figure 9 – card de recomendação com o uso das três cores de destaque

enquanto respondiam as questões. Das 20 questões elaboradas, 1 questão abordou o gráfico de interações por tempo, 3 questões abordaram os gráficos de resolução de questões, 2
questões abordaram os cards sobre aspectos da videoaula, 11 questões abordaram a aceitação
dos participantes sobre o dashboard e recomendações e 3 questões abertas coletaram dados
qualitativos de percepção dos participantes sobre a tecnologia apresentada.
Para as questões abordando as visualizações, será considerado que uma taxa de acerto
acima de 80% é positiva e confirma que as visualizações geradas são fáceis de entender.
Caso a taxa de acerto seja menor que 80%, é um indicativo de que as visualizações não são
apropriadas o suficiente.
Cada uma das 11 questões de aceitação do dashboard aborda uma percepção sobre a tecnologia (Apêndice 1), com base no TAM descrito em (VENKATESH; DAVIS,
2000)(VENKATESH, 2000). O propósito de utilizar o TAM foi que, assim, é possível ter
uma visão mais completa da aceitação por parte dos participantes. Cada uma das questões
possui quatro opções (Discordo plenamente, Discordo, Concordo, Concordo plenamente),
assim as respostas podem ser codificadas na escala likert (JOSHI et al., 2015).
As questões abordando os gráficos de interações através do tempo e resolução de questões
e os cards com os aspectos da videoaula tem o propósito de avaliar se os participantes con-

5 Metodologia e Design do Estudo

seguem entender o conteúdo destes elementos do dashboard.
5.4.2

Objetivo

Para este experimento, o objetivo principal foi o de avaliar a aceitação dos participantes
com relação ao dashboard como tecnologia de apoio à tomada de decisão, assim como
avaliar se os elementos presentes no dashboard são de fácil entendimento para aqueles que
o utilizaram.
5.4.3

Hipóteses

As hipóteses para este experimento foram: (1) os participantes são capazes de entender o
significado das visualizações apresentadas (com no mínimo 80% de acerto), (2) o dashboard
é fácil de usar e (3) os participantes concordam que o dashboard é útil para a melhoria de
videoaulas.

6 Resultados e Discussões

Resultados e Discussões
Nesta seção são apresentados e discutidos os resultados obtidos ao longo da pesquisa,

principalmente os obtidos através dos experimentos executados.

6.1

Experimento 1: Preferências de Alunos e Professores Quanto
aos Aspectos das Videoaulas Produzidas

O primeiro experimento foi executado ao longo de duas semanas e envolveu 21 participantes, dos quais 7 eram pós-graduados (com no mínimo um mestrado), 9 eram graduados
e os 15 restantes eram alunos de graduação. Dos 21 participantes, 19 eram da área da computação, sendo os demais de áreas variadas.
6.1.1

Trechos Preferidos pelos Participantes

Para este experimento, os participantes foram apresentados a três questões sobre os trechos de vídeos descritos na seção de metodologia. Para cada questão, três trechos de vídeos
foram exibidos aos participantes, que foram incentivados a assistir cada trecho até o fim
antes de responder as perguntas que seguiam os trechos. A primeira pergunta era a seguinte:
“Qual é, na sua opinião, o melhor dentre os três trechos assistidos?”. A Tabela 5 lista os
resultados desta pergunta para cada conjunto de três vídeos apresentados.

Introdução
Tabela de Tipos de Dados
Explicando Conversão Implícita de Tipos
Apresentação e Resolução de Questão
Total

Vídeo 1
18
15
10
17
60

Vídeo 2
0
1
7
4
12

Vídeo 3
3
5
4
0
12

Table 5 – preferência dos participantes por cada trecho de vídeo seguindo as categorias apresentadas. Os trechos mais escolhidos estão em verde
É possível observar, pela Tabela 5, que a preferência pelo Trecho 1 se manteve em todas
as categorias selecionadas. Assim é possível supor que os participantes preferem, em sua
maioria, vídeos com a seguinte configuração:

6 Resultados e Discussões

Configuração do Vídeo Preferido
Duração
11:46 minutos
Presença do Professor
Sim (talking head)
Resolução
1366 x 720 (HD)
Frequência de Mudança de Cenas
0,85 cenas/min
Presença de Ruído
Sim
Uso de Transições de Tela
Não
Presença de Questões
Sim (ao fim do vídeo)
Quantidade de Texto por Slide
Baixa
Resolução de Questões
Resolução com explicação
Table 6 – configuração de aspectos do vídeo 1 (vídeo preferido)

As segunda e terceira questões que os participantes responderam foram as seguintes:
“Quais características lhe fizeram optar pelo trecho escolhido?” e “Quais características
lhe fizeram não optar pelos demais trechos?”. Ambas são questões abertas, às quais os
participantes responderam com suas opiniões sobre os trechos assistidos, alguns até mesmo
justificaram suas respostas. No entanto, devido ao caráter qualitativo destas questões, as
respostas precisaram passar por uma etapa de análise, para ser definida uma simbologia
capaz de representar a opinião dos participantes sem deturpar seu significado.
A estratégia adotada foi a seguinte: a resposta do participante seria reduzida a termos
chaves que pudessem representar os aspectos do vídeo que as respostas citam, criando assim
um conjunto de variáveis categóricas. Por exemplo, um dos participantes respondeu sobre
um dos trechos: “o vídeo é mais direto e foram apresentados exemplos de todos os tipos de
dados que serão abordados”, a partir desta sentença é possível perceber que ele aprecia (1)
o vídeo ser direto (entende-se que esteja se referindo a objetividade do vídeo sobre o assunto
abordado) e (2) o uso de exemplos. Assim, esta sentença entrega dois termos chaves: vídeo
direto e uso de exemplos.
Seguindo esta estratégia para todas as respostas fornecidas, foi possível obter os seguintes
termos chaves:
É possível observar que os termos da Tabela 7 foram divididos em dois grupos: termos
positivos e termos negativos. Um termo positivo é aquele que surge em um contexto a favor

6 Resultados e Discussões
Termos Chaves
Termos Positivos
Termo
Presença do Professor
Explicação Detalhada
Explicação Prática da Solução
Exemplos Práticos
Vídeo Direto
Apresentação Estruturada
Uso de Cores Durante a Explicação
Dicção - Calma
Ordem da Fala
Dicção - Confiança
Dicção - Linguagem
Texto Legível
Exemplos Teóricos
Tempo Para o Aluno Responder
Qualidade dos Slides
Melhor Qualidade
Mais Sucinto
Resolução do Vídeo
Dicção - Fluidez
-

Recorrência
44
21
15
12
6
4
3
3
2
2
2
1
1
1
1
1
1
1
1
-

Termos Negativos
Termo
Falta do Professor
Falta de Exemplos Práticos
Falta da Explicação Prática
Discurso muito Longo
Informações Incompletas
Falta da Explicação da Solução
Confuso
Baixa Qualidade de Imagem
Terminal com Muito Conteúdo
Má Dicção do Professor
Explicação Pouco Atraente
Áudio de Baixa Qualidade
Falta do Uso de Cores
Indiferente
Talking Head Cobre Parte da Tabela
Apenas Slides
Texto Pequeno
Fala Fora de Ordem
Vídeo com Cortes
Elementos Visuais Indesejáveis
Baixa Qualidade
Discurso Repetitivo
Talking Head Distrai Muito

Recorrência
57
13
10
10
9
8
6
5
5
4
4
4
3
3
3
3
3
2
1
1
1
1
1

Table 7 – lista de termos chaves obtidos
dos aspectos do vídeo, enquanto o termo negativo é o oposto, surgindo em um contexto
contra os aspectos do vídeo. A recorrência dos termos indica o número de vezes que as
respostas citaram cada termo.

6.2

Experimento 2: Validação do Dashboard

A validação do dashboard foi realizada com uma amostra de 16 participantes, dos quais
14 eram alunos e professores de cursos de computação, 1 aluno de doutorado da pedagogia
e 1 aluno de arquitetura bacharelado.
A seguir, os resultados das questões feitas no formulário são apresentados, divididos nos
seguintes tópicos: gráfico de interações através do tempo, gráficos de resolução de questões,
cards de aspectos da videoaula e percepções sobre o dashboard e recomendações.

6 Resultados e Discussões
6.2.1

Gráfico de Interações Através do Tempo

Sobre o gráfico de interações através do tempo, foi realizada a seguinte questão: “O que
está ocorrendo com as interações do vídeo em relação ao tempo?”. O gráfico de interações
através do tempo utilizado apresentou uma queda na quantidade de interações conforme o
vídeo avançava. Foi, então, esperado que as respostas dos participantes refletissem o comportamento observado no gráfico, indicando a queda de interações.

1
2
3
4
5
6
7
8
9
10

11
12
13
14
15
16

Respostas Sobre o Gráfico de Interações Através do Tempo
Caindo
Correta
Com tendência de diminuição
Correta
Elas estão diminuindo
Correta
A duração dos vídeos é muito longa.
Incorreta
Diminuindo
Correta
Estão diminuindo com o tempo
Correta
diminuindo
Correta
Diminuindo
Correta
Tendem a decrescer
Correta
O número de interações oscilam durante toda
a duração do vídeo, no qual, a tendência de interagir passar
Correta
a ficar menor
Acho que há uma tendência à diminuição das interações,
pois os picos são cada vez menores. Contudo, há um pico
Correta
muito grande no final. Acho que os estudantes adiantaram o
vídeo até o final para passar a impressão que assistiram tudo.
Tendem a diminuir
Correta
Na medida que o tempo avança as interações diminui
Correta
As interações diminuíram conforme o tempo passou.
Correta
A interação está diminuindo à medida que o tempo passa
Correta
A frequência está diminuindo com o tempo e com
tendência de queda. Sugere-se, assim, que vídeos
Correta
longos potencializam a diminuição das interações.
Table 8 – respostas para a questão 1

Foi possível notar, pelas respostas dos participantes, que a ideia central do gráfico de
interações através do tempo foi compreendida por 93,75% dos que responderam a questão
do formulário sobre o gráfico de interações através do tempo, o que, pela hipótese formada

6 Resultados e Discussões

no início do experimento, indica que esta visualização é fácil de entender. As respostas
corretas captaram a ideia de que a tendência das interações, conforme o vídeo avança, é
a de diminuir. Este foi um efeito observado originalmente no experimento realizado em
(HOLANDA, 2019), onde os dados que geraram este gráfico foram coletados.
A única resposta incorreta foi a que não interpretou corretamente a queda das interações,
citando apenas a duração longa do vídeo, que não é a informação principal ou o foco deste
gráfico.
Algumas das respostas, além de responder a questão, também descreveram possíveis
justificativas para a queda no número de interações. Um dos participantes sugeriu que isso
ocorreu por conta da longa duração do vídeo, enquanto outro sugeriu que alguns alunos
pularam trechos do vídeo e foram direto para o final. Reflexões como essas podem indicar
o potencial do dashboard como ferramenta não apenas de recomendação, mas também de
reflexão sobre os vídeos (TOCHON, 2007).
6.2.2

Gráficos de Resolução de Questões

Três questões foram feitas abordando os gráficos de resolução de questões. A primeira
questão foi a seguinte: “Qual questão teve o maior número total de acertos?”, para esta
questão a resposta certa foi a alternativa “Questão 1”. A segunda questão foi a seguinte:
“Qual questão teve o maior número total de erros?”, cuja resposta correta foi a alternativa
“Questão 1”. A última questão foi a seguinte: “Qual questão teve o maior número de participantes?”, a qual a resposta correta também foi a alternativa “Questão 1”. As respostas
coletadas podem ser vistas nos gráficos abaixo, gerados com o auxílio da ferramenta de
formulários Google Forms.
A primeira questão sobre os gráficos de resolução de questões teve uma taxa de acerto
de 81,3%. É interessante notar que a alternativa “Questão 3” foi selecionada em 18,8% das
respostas. O motivo para isso pode ser uma confusão ocasionada pela pergunta da questão,
onde se deseja saber qual das questões do vídeo teve o maior “número total” de acertos. É
possível que alguns participantes interpretaram o termo “número total” como a proporção
entre acertos e erros. Neste caso, de fato, a "Questão 3" seria a alternativa correta, visto que
seu gráfico no dashboard apresenta 100% de acerto. No entanto, o que se esperava é que os
participantes interpretassem o “número total” como o valor inteiro de respostas, que faz com

6 Resultados e Discussões

Figure 10 – resultados da questão 2

que a "Questão 1" seja a alternativa correta.

Figure 11 – resultados da questão 3

A segunda questão apresenta um cenário similar ao da primeira, com 81,3% de acerto
por parte dos participantes. Neste caso, foi interpretado que o mesmo motivo que ocorreu na
primeira questão induziu os participantes ao erro nesta segunda, onde alguns optaram pela
alternativa “Questão 2”, que obteve 18,8% das respostas.
A última questão, por sua vez, obteve uma taxa de acerto de 100%. Todas as três questões
apresentaram taxas de acerto acima de 80%, o que confirma a hipótese de que estes são grá-

6 Resultados e Discussões

Figure 12 – resultados da questão 4

ficos fáceis de entender. No entanto, a confusão gerada pelos enunciados das duas primeiras
questões levanta a dúvida sobre se as taxas de acerto podem ser maiores.
6.2.3

Cards Sobre os Aspectos da Videoaula

Sobre os cards de aspectos da videoaula foram feitas duas questões: “Quais das características técnicas do vídeo precisam melhorar?” e “Quais das características técnicas do
vídeo estão apropriadas?”. Para a primeira questão, foi esperado que os participantes escolhessem os aspectos de taxa de transferência de áudio, duração e frequência média de cenas
como os aspectos que precisam ser melhorados, enquanto que os aspectos de resolução de
tela, ruídos e estilo do vídeo foram esperados como respostas da segunda questão. As respostas coletadas foram representadas nos gráficos de barras abaixo.

6 Resultados e Discussões

Figure 13 – resultados da questão 5

Como é possível observar na Figura 13, 100% dos participantes responderam esta questão
corretamente. De modo semelhante, 100% responderam a questão da Figura 14 corretamente, o que confirma a hipótese de que os cards também são fáceis de usar e entender.

Figure 14 – resultados da questão 6

6.2.4 Likerts de Aceitação do Dashboard
Da questão 7 até a questão 17 são feitas afirmações sobre a aceitação do dashboard,
as quais os participantes respondem se concordam ou discordam com base na escala likert
(no caso deste experimento foi utilizada uma versão com 4 alternativas: Discordo Completamente, Discordo, Concordo e Concordo Completamente). Cada uma das afirmações foi

6 Resultados e Discussões

Questão
7
8
9
10
11
12
13

Afirmação
Esse dashboard me ajudaria a melhorar
a qualidade técnica do vídeo
Esse dashboard me ajudaria a melhorar
a qualidade pedagógica do vídeo
Esse dashboard é fácil de entender
Esse dashboard traz informações úteis
sobre a videoaula
Esse dashboard tornaria mais produtiva
a atividade de melhorar a qualidade de
videoaulas
Eu usaria esse dashboard para me apoiar
na melhoria de videoaulas
Esse dashboard possui um bom design
e estética

As recomendações são fáceis de entender

As recomendações estão apropriadas

16
17

As recomendações são úteis para melhorar
a qualidade da videoaula
Eu seguiria essas recomendações

Percepção Avaliada
Melhoria de
Qualidade Técnica
Melhoria de
Qualidade Pedagógica
Usabilidade do
Dashboard
Utilidade de
Informação
Produtividade
Apoio aoProfessor
Design
Usabilidade das
Recomendações
Finalidade das
Recomendações
Utilidade das
Recomendações
Aceitação das Recomendações

Table 9 – relação entre afirmações das questões 7 até 17 e percepções de aceitação de tecnologia

pensada a fim de avaliar uma percepção diferente do dashboard. A tabela abaixo descreve
cada afirmação e suas respectivas percepções.
Para análise, as alternativas de cada likert foram codificadas da seguinte maneira: 1, 2,
3, e 4 (respectivamente: discordo completamente, discordo, concordo e concordo completamente). O resultado das respostas de cada likert pode ser conferido na Tabela 10, junto com
a mediana das respostas de cada um. Foi optado pelo uso da mediana, ao invés da média,
pois esta se comporta melhor quando a variável observada é do tipo qualitativa ordinal, que
é o caso das opções definidas para a escala likert do experimento.

6.3

Análise e Reflexão Sobre os Dados

Com os dados coletados ao fim dos experimentos, foi possível realizar comparações entre
os resultados e as hipóteses realizadas no começo deste trabalho. As seções a seguir trazem

6 Resultados e Discussões
Questão
7
8
9
10
11
12
13
14
15
16
17

Discordo Completamente
0
1
0
0
0
0
0
0
0
0
0

Discordo
0
2
2
1
0
0
5
0
0
0
0

Concordo
6
6
7
6
7
9
4
8
7
7
7

Concordo Completamente
10
7
7
9
9
7
7
8
9
9
9

Table 10 – quantidade de respostas por alternativa de cada questão

reflexões mais profundas sobre os achados da pesquisa.
6.3.1

Vídeo Preferido pelos Participantes e Aspectos Técnicos mais Relevantes

Os resultados do experimento 1 expuseram a preferência da maioria dos participantes
pelo vídeo 1, visto que, para cada categoria de trechos que constituiu o experimento, os
trechos do vídeo 1 foram sempre os mais votados. Do vídeo 1, o trecho 1 recebeu 85,7% dos
votos, o trecho 2 recebeu 71,4%, o trecho 3 recebeu 47,6% e o trecho 4 recebeu 80,1%. No
total, os trechos do vídeo 1 receberam uma média de 71,4% dos votos.
Um ponto interessante sobre o vídeo 1 é que, considerando os aspectos técnicos de produção, o único ponto negativo foi a presença de ruído (S.; G., 2020) (que se fez presente
por conta do som do teclado mecânico utilizado em sua gravação). A duração (SANTOS
et al., 2015), resolução do vídeo (BARRéRE, 2014), frequência de cenas (SANTOS et al.,
2015), apresentação do vídeo (CHORIANOPOULOS, 2018), quantidade de texto por slides,
presença de transição de telas, presença de questões (BRAME, 2016) e uso de resolução de
questões com explicação foram aspectos que cumpriram os requisitos propostos pelas métricas retiradas da literatura. Ao ser comparado com os demais vídeos, o vídeo 1 cumpre 8 dos
9 requisitos para os aspectos considerados em sua produção, enquanto o vídeo 2 cumpre 4
requisitos e o vídeo 3 cumpre 5 requisitos. A Tabela 11 destaca os aspectos de cada vídeo
que cumpriram os requisitos.
É possível que o cumprimento da maioria dos requisitos tornou o vídeo 1 mais interessante aos participantes. Mas para isso, é preciso entender se os aspectos utilizados como

6 Resultados e Discussões

Duração
Presença do Professor
Resolução
Frequência de Mudança de Cenas
Presença de Ruído
Uso de Transições de Tela
Presença de Questões
Quantidade de Texto por Slide
Resolução de Questões

Vídeo 1
11:46
Sim (talking head)
1366x720
0,85 cenas/min
Sim
Não
Sim (ao fim do vídeo)
Baixa
Resolução com explicação

Vídeo 2
16:41
Não (voz sobre slides)
638x360
0,6 cenas/min
Sim
Não
Sim (durante o vídeo)
Baixa
Resolução sem explicação

Vídeo 3
17:03
Não (voz sobre slides)
1366x720
0,76 cenas/min
Não
Sim
Sim (durante o vídeo)
Alta
Resolução com explicação

Table 11 – aspectos de cada vídeo que cumprem os requisitos

base para a produção dos vídeos são de fato relevantes para a escolha dos participantes.
Para entender melhor quais os aspectos relevantes na opinião dos participantes, é possível
olhar para a Tabela 7. Logo se nota que o termo positivo mais recorrente foi “Presença do
professor”, que está ligado diretamente ao vídeo 1, por este ser o único dos três vídeos que
apresentava o professor na tela. Não apenas isso, mas o termo negativo mais recorrente
foi “Falta do professor”, ou seja, os participantes criticaram muito a falta do professor nos
demais vídeos.
Vale notar que, apesar de ter sido o aspecto preferido dos participantes, a presença do
professor com o talking head trouxe algumas críticas, como no trecho 2 do primeiro vídeo,
onde o quadro com a imagem do professor cobre parte do conteúdo da tabela presente na tela,
como pode ser visto na Figura 15. Alguns participantes apontaram a ocultação de conteúdo
pelo talking head como um defeito deste trecho do vídeo.

6 Resultados e Discussões

Figure 15 – talking head no canto inferior direito da tela cobre parte do conteúdo da tabela

Outro ponto interessante é que os aspectos técnicos de “uso de transições de tela” e “presença de questões” não foram mencionados por nenhum participante, seja de forma positiva
ou negativa, o que pode indicar que estes aspectos são irrelevantes para a preferência dos
vídeos. Outro aspecto que demonstrou ser irrelevante no experimento executado foi o de
“quantidade de texto por slide”, onde nenhum dos comentários citou este aspecto diretamente, embora alguns comentários criticaram o tamanho da fonte em alguns trechos.
Termos como “falta da explicação da solução”, “falta da explicação prática”, “falta de
exemplos práticos”, “Explicação Prática da Solução” e “exemplos práticos” reforçam o aspecto de resolução de questões, enquanto que “baixa qualidade de imagem” e “áudio de
baixa qualidade” reforçam os aspectos de resolução de vídeo (a baixa qualidade de imagem
esteve relacionada ao vídeo 2, com menor resolução) e presença de ruído (a qualidade do
áudio foi mais criticada nos vídeos 1 e 2 do que no vídeo 3, onde não havia ruído). Os
aspectos de “duração” e “frequência de mudança de cenas” não foram diretamente citados
pelos participantes, mas ainda assim se mostraram relevantes indiretamente. Alguns comentários elogiaram trechos de vídeo mais diretos e objetivos (por consequência mais curtos)
e criticaram trechos com “discursos muito longos”, o que se caracterizou nos trechos com
maior duração, que por consequência também tinham as cenas mais longas (os trechos, em
sua maioria, eram compostos por apenas uma cena).

6 Resultados e Discussões

Este experimento mostra, ao fim, que a hipótese inicial, de que as preferências dos participantes estão alinhadas com os aspectos utilizados como base para a produção do vídeo, não
é totalmente verdadeira, visto que apenas 6 dos 9 aspectos se mostraram relevantes quando
analisados os comentários dos participantes. Com base neste resultado o número de aspectos
do vídeo relevantes em termos de preferência de alunos e professores foi reduzido para 6,
com 5 aspectos técnicos (duração, apresentação do vídeo, resolução de imagem, frequência
de mudança de cenas e presença de ruídos) e 1 aspecto pedagógico (resolução de questões).
Assim, o vídeo 1 ainda é o que mais cumpre requisitos, cumprindo 5 dos 6, contra 4 requisitos cumpridos do vídeo 3 e apenas 1 requisito cumprido do vídeo 2.
6.3.2

Aceitação do Dashboard

Para avaliar a aceitação do dashboard, as respostas dos likerts foram utilizadas para a
construção de gráficos de barras, cada um para uma questão, onde é possível visualizar a
aceitação dos participantes com relação a cada percepção avaliada.
As alternativas de cada likert, como dito anteriormente, foram codificadas da seguinte
maneira: 1, 2, 3, e 4 (respectivamente: discordo completamente, discordo, concordo e concordo completamente), de modo a facilitar a análise e cálculo de valores como a média,
mediana e moda (como visto na Tabela 12). Nas seções abaixo é discutido em maior profundidade o resultado de cada questão.

6 Resultados e Discussões

Questão
7
8
9
10
11
12
13
14
15
16
17

Dados sobre as Respostas dos Likerts
Desvio Padrão Média Moda Mediana Mínimo
0,50
3,77
4
4
3
0,91
3,23
4
3
1
0,70
3,23
3
3
2
0,63
3,54
4
4
2
0,51
3,61
4
4
3
0,51
3,54
3
3
3
0,88
3,23
4
3
2
0,51
3,54
3
3,5
3
0,51
3,61
4
4
3
0,51
3,54
4
4
3
0,51
3,54
4
4
3

Máximo
4
4
4
4
4
4
4
4
4
4
4

Table 12 – valores de desvio padrão, média, moda, mediana, mínimo e máximo de cada
questão

6.3.2.1

Percepção de Melhoria de Qualidade Técnica

A questão abordando a percepção de melhoria de qualidade técnica demonstrou, de
acordo com as respostas, que os participantes concordam bastante sobre a capacidade do
dashboard em ajudar a melhorar a qualidade técnica de uma videoaula. A Figura 16 demonstra as respostas coletadas.

6 Resultados e Discussões

Figure 16 – gráfico de percepção de melhoria da qualidade técnica

As respostas concentram-se apenas entre as alternativas “Concordo” e “Concordo completamente”, apresentando uma mediana 4 (Concordo completamente). Com isto é seguro
afirmar que, com base nas respostas, os participantes concordam completamente que o dashboard ajuda a melhorar a qualidade técnica de uma videoaula.
6.3.2.2

Percepção de Melhoria de Qualidade Pedagógica

Esta percepção, por outro lado, apresentou resultados mais variados entre as respostas
dos participantes.
Enquanto que a maior parte das respostas concentra-se nas alternativas “Concordo” e
“Concordo completamente”, foram registradas 3 respostas nas alternativas “Discordo” e
“Discordo completamente”, como pode ser visto na Figura 17. Quando perguntados, em uma
questão posterior, “Quais os pontos negativos a respeito do dashboard?”, os participantes,
em suas respostas, sugeriram que o dashboard apresentava muita informação sobre aspectos
técnicos, mas pouca sobre aspectos pedagógicos, alguns citaram que aspectos como dicção,
nível de aprendizagem após o vídeo e qualidade de conteúdo fizeram falta à composição da
tela.

6 Resultados e Discussões

Figure 17 – gráfico de percepção de melhoria da qualidade pedagógica

Ainda assim, a mediana das respostas ficou em 3 (Concordo), o que indica que os participantes, de modo geral, concordaram com a percepção de melhoria de qualidade pedagógica
proposta pelo dashboard, representada pelos gráficos de interações através do tempo e resolução de questões.
6.3.2.3

Percepção de Usabilidade do Dashboard

A usabilidade do dashboard é tida como a facilidade dos participantes em entender e interpretar seus elementos. A mediana das respostas dos participantes ficou em 3 (Concordo),
e como pode ser observado na Figura 17 a quantidade de participantes que concordaram e
que concordaram completamente foi a mesma.
Houveram, no entanto, 2 participantes que responderam a questão com “Discordo”. A
principal crítica de ambos os participantes ao dashboard foi com relação a compreensão
das informações apresentadas. Um dos participantes informou, por exemplo, que em um
primeiro momento não foi capaz de entender algumas das métricas utilizadas para os aspectos técnicos.

6 Resultados e Discussões

Figure 18 – gráfico de percepção de usabilidade do dashboard

6.3.2.4

Percepção de Utilidade de Informação

Para a percepção de utilidade de informação (Figura 19), a mediana das respostas foi
de 4 (Concordo completamente), com apenas 1 participante tendo escolhido a alternativa
“Discordo”. A utilidade da informação do dashboard foi vista pela maioria como um ponto
positivo, tendo alguns participantes mencionado que o dashboard “apresenta informações
técnicas e importantes sobre o vídeo”, “expõe informações de forma clara” e “possui indicadores interessantes”, entre outros.
6.3.2.5

Percepção de Produtividade

A percepção de produtividade (Figura 20) é a visão que os participantes têm de
avaliar se o dashboard pode oferecer um ganho de desempenho na produção de videoaulas
(VENKATESH; DAVIS, 2000), o que indica indiretamente que a ferramenta é útil. Neste
caso, a mediana das respostas coletadas foi de 4 (Concordo completamente). No geral, todos
os participantes concordaram com o ganho de produtividade que o dashboard pode oferecer
a produção de videoaulas.

6 Resultados e Discussões

Figure 19 – gráfico de percepção de utilidade de informação

Figure 20 – gráfico de percepção de produtividade

6 Resultados e Discussões
6.3.2.6

Percepção de Apoio ao Professor

A percepção de apoio ao professor é uma percepção de usabilidade que avalia o quanto
a ferramenta apoia o professor, apresentando dados complexos de modo simples e fácil de
entender (MOTTUS et al., 2015).

Figure 21 – gráfico de percepção de apoio ao professor

Para os participantes do experimento, segundo a Figura 21, o dashboard apoia ao professor, com mediana de 3 (Concordo). Alguns participantes comentaram posteriormente que
acharam o dashboard “simples, objetivo e com cores que facilitam a análise”, o que é um
bom indicador para o apoio ao professor.
6.3.2.7

Percepção de Design

A percepção de design, por sua vez, envolveu a avaliação dos elementos visuais do dashboard, como cores, formas, layout, entre outros. A mediana das respostas dos participantes
foi 3 (Concordo), indicando boa aceitação com base nos resultados.
No entanto, é possível observar, através da Figura 22, que uma quantidade considerável
dos participantes discordou do design e estética adotados para a tela do dashboard. Em
comentários posteriores, os participantes criticaram a escolha de cores, indicando que “tons

6 Resultados e Discussões

Figure 22 – gráfico de percepção de design

azuis ajudam a concentrar mais” (as principais cores do dashboard foram vermelho e verde),
o layout das informações, informando que “o gráfico interações por tempo está muito grande,
podendo dificultar a visualização se houver mais que três questões no vídeo”, e a falta de
interatividade com o dashboard (alguns participantes demonstraram querer clicar e interagir
com os elementos para obter mais informações).
Embora as críticas possuam explicações, por parte dos participantes, o dashboard proposto foi desenvolvido como um protótipo não interativo (o arquivo disponibilizado era uma
imagem estática), portanto não era possível clicar e acessar mais informações. Sobre a escolha de cores criticada, os tons de verde e vermelho utilizados foram escolhidos por representar uma linguagem visual comum, com base nas cores de um semáforo.
6.3.2.8

Percepção de Usabilidade das Recomendações

A usabilidade das recomendações, segundo os participantes, apresenta uma mediana de
3.5 (um meio termo entre “Concordo” e “Concordo completamente”), o que representa um
resultado positivo. Em geral, os participantes acharam que as recomendações “mostram
o que deve ser melhorado com clareza”, além de serem “úteis para melhorar a qualidade
técnica da aula e fazer um diagnóstico dos acertos e erros”.

6 Resultados e Discussões

Figure 23 – gráfico de percepção de usabilidade das recomendações

6.3.2.9

Percepção de Finalidade das Recomendações

A finalidade de uma recomendação (Figura 24) indica o quão apropriada a recomendação está para o propósito a qual ela foi projetada. Neste caso, as respostas apresentaram
uma mediana 4 (Concordo completamente) para a apropriação das recomendações com relação a melhoria de videoaulas. Em comentários, alguns participantes reconheceram que as
recomendações estão “adequadas”.
6.3.2.10

Percepção de Utilidade das Recomendações

De modo semelhante à finalidade das recomendações, os participantes também julgaram
as recomendações úteis, onde a maioria concordou completamente com a afirmação, como
pode ser visto na Figura 25.
6.3.2.11

Percepção de Aceitação das Recomendações

Por fim, a percepção de aceitação das recomendações (Figura 26) das recomendações
é um indicativo do interesse dos participantes em seguir as recomendações geradas, caso

6 Resultados e Discussões

Figure 24 – gráfico de percepção de finalidade das recomendações

Figure 25 – gráfico de percepção de utilidade das recomendações

6 Resultados e Discussões

estas lhe fossem destinadas. No geral, os participantes concordaram completamente com a
afirmação da questão.

Figure 26 – gráfico de percepção de aceitação das recomendações

6.3.2.12 Technology Acceptance Model (TAM)
Definido por (VENKATESH; DAVIS, 2000)(VENKATESH, 2000), um Technology Acceptance Model (TAM) descreve os modelos que definem como usuários vem a aceitar novos
sistemas, utilizando duas medidas principais: a usabilidade (ease of use) e a utilidade (usefulness). O TAM descrito em (VENKATESH, 2000) está representado na Figura 27.
No TAM, a percepção de usabilidade e de utilidade influenciam na intenção de uso dos
usuários de uma ferramenta. Uma ferramenta difícil de se usar ou com poucas funcionalidades que aumentem a produtividade muito provavelmente não são capazes de chamar a
atenção dos usuários.
A avaliação da aceitação dos usuários vista anteriormente leva em consideração um conjunto de percepções que indicam a aceitação da ferramenta por parte dos usuários, e por
consequência sua intenção de uso. As percepções consideradas, quando inseridas no TAM,
se organizam de modo semelhante ao da Figura 28.

6 Resultados e Discussões

Figure 27 – diagrama do TAM descrito por (VENKATESH, 2000)

Figure 28 – modelo de aceitação utilizado para avaliar o dashboard, adaptado de
(VENKATESH, 2000)

6 Resultados e Discussões

É possível observar que a percepção de utilidade e usabilidade, para a avaliação realizada,
eram constituídas pelas percepções menores. Visto que foi utilizada a escala likert para
coletar os dados, podemos representar cada percepção como a soma das suas percepções
menores (JR.; BOONE, 2012). Como dito em (JR.; BOONE, 2012), é possível tratar dados
de uma escala likert deste modo quando esta for composta de, no mínimo 4 questões. As
percepções que atendem a este critério são: percepção sobre as recomendações e percepção
de utilidade. As demais podem ser analisadas como itens independentes.

Figure 29 – percepção sobre as recomendações

O gráfico da Figura 29 apresenta a soma das respostas relacionadas a percepção sobre as
recomendações (o que envolve as percepções de usabilidade, finalidade, utilidade e aceitação
das recomendações). A Figura 30 apresenta a percepção de utilidade resultante da soma das
percepções de recomendações, melhoria de qualidade, produtividade e utilidade de informação.
É possível observar que os gráficos das somas mantém características dos gráficos individuais, com os participantes concordando muito e discordando pouco. Em cenários com
muita variação entre concordâncias e discordâncias estes gráficos oferecem uma visão mais
clara das percepções de recomendações e utilidade do dashboard, mas como a tendência ao
longo do experimento foi de concordância, o resultado é apenas reforçado.

6 Resultados e Discussões

Figure 30 – percepção de utilidade

Assim, o TAM modelado pode servir de framework para avaliação de implementações
do SVV proposto, visto que aborda as principais características do sistema (recomendações,
apoio ao professor, melhoria de qualidade técnica/pedagógica, facilidade de uso, entre outros) do ponto de vista do usuário final.

7 Conclusão

Conclusão
Por fim, o trabalho descrito apresenta uma proposta de Sistema de Validação de

Videoaulas (SVV), que, aliado a um conjunto de aspectos técnicos e pedagógicos definidos,
é capaz de gerar visualizações e recomendações para compor um dashboard para o professor
(produtor do vídeo), com o intuito de servir de apoio para a melhoria da videoaula.
A lista de aspectos técnicos e pedagógicos utilizada como base do SVV foi validada com
o primeiro experimento executado, o qual ajudou a descartar aspectos pouco relevantes antes
considerados, em prol de manter apenas os aspectos aos quais os participantes do experimento mais reagiram, sendo estes a duração da videoaula, resolução da imagem, presença
de ruído, presença do professor (tipo de apresentação do vídeo), frequência de mudança de
cenas e resolução de questões. Junto a estes foram também adicionados a taxa de transmissão de áudio (bitrate) e a quantidade de interações dos alunos com o vídeo (play, pause, seek
forward/backward, entre outros) através do tempo. O primeiro foi adicionado por estar relacionado com a qualidade do áudio e também com a presença de ruído (HINES et al., 2015),
enquanto que o segundo foi adicionado por ter se mostrado relevante em trabalhos realizados
anteriormente (HOLANDA, 2019).
A definição dos aspectos serviu de base para a modelagem do SVV como sistema, e a
definição das estratégias de extração dos dados da videoaula necessários para representar
tais aspectos em termos computacionais, além de definir as métricas de qualidade de cada
aspecto do vídeo. Enquanto alguns aspectos podem ser obtidos com o uso de bibliotecas
de manipulação direta de vídeos, como é o caso da duração, bitrate e resolução de imagem,
outros não se mostraram tão triviais e exigiram uma análise sistemática da literatura para
definir os métodos de coleta, que foi o caso da frequência de mudança de cenas, presença
de ruído e presença do professor. Os aspectos de resolução de questões e interações através
do tempo são extraídos a partir das interações com o vídeo, como descrito em (HOLANDA,
2019).
O resultado final do SVV é um dashboard direcionado ao produtor do vídeo (geralmente o professor), que exibe os gráficos de resoluções de questões e de interações através
do tempo, cards com os aspectos que apresentaram valores apropriados e inapropriados, e
recomendações de melhorias para os aspectos que se mostraram inapropriados. As recomen-

7 Conclusão

dações geradas foram definidas com base em boas práticas definidas na literatura, e eram
compostas por uma explicação (que ressalta o motivo da recomendação) e uma série de
ações que o autor de uma videoaula pode executar a fim de melhorar seu material.
A validação do dashboard foi realizada no segundo experimento, onde os resultados
apontaram para uma boa aceitação da ferramenta por parte dos participantes. Algumas críticas foram feitas sobre o design da tela, como o layout dos elementos, uso das cores escolhidas
e aparência geral da tela. Outras críticas apontaram que alguns participantes não sentiram
relevância nos dados de aspectos pedagógicos apresentados, alguns sugeriram inclusive a
apresentação de outros dados (como informações sobre dicção e qualidade de conteúdo).
Os pontos positivos destacados foram os aspectos técnicos, as recomendações (tanto as sugestões quanto às explicações), a facilidade de uso e entendimento dos gráficos, e a quantidade
de informação considerada relevante agregada à tela.
As ameaças à validade do trabalho identificadas são a quantidade de participantes dos
experimentos, 21 participantes do primeiro e 16 participantes do segundo, que não foram
poucos, mas que podem representar uma amostra difícil de generalizar, não apenas quando
se acresce o número, mas também quando se varia a área de conhecimento dos participantes,
nível de escolaridade e se é professor ou não. Para o cenário de uso do SVV proposto para
aulas de programação ou computação, no entanto, a amostra se faz adequada, visto que cerca
de 90% dos participantes de ambos experimentos eram da área da computação.
Finalmente, há o espaço para que trabalhos futuros invistam no modelo de SVV proposto
para a especificação em outras áreas de conhecimento, investindo em outros aspectos técnicos e pedagógicos, ou até mesmo outras classes de aspectos de videoaula que possam existir.
Enquanto este trabalho orbitou em volta de aspectos gerais que afetam a preferência dos
alunos pelo vídeo, outros trabalhos podem estudar o uso de SVVs para validar aspectos mais
específicos de uma videoaula, como engajamento, carga cognitiva, interação, entre outros.
Outro ponto que pode ser explorado futuramente são as recomendações e como elas podem
ser melhoradas, visto que a proposta apresentada neste trabalho se baseou em recomendações
estáticas (que nunca mudam), mas a possibilidade de investigar o funcionamento e benefícios de recomendações inteligentes se mostra bastante interessante. O design do dashboard
também pode ser melhorado, como visto no resultado do experimento realizado. Fica para
trabalhos futuros, também, a implementação dos algoritmos sugeridos para o SVV proposto,

7 Conclusão
assim como a implementação do sistema em si.

7 Conclusão

Bibliography
A., S.; S., M. M. R. A new pyramidal opponent color-shape model based video shot
boundary detection. Tirunelveli, India, janeiro 2019.
APOSTOLIDIS, E. et al. Video summarization using deep neural networks: A survey.
London, UK, setembro 2021.
BAHIA, A. B.; SILVA, A. R. L. da. Modelo de produção de vídeo didático para ead. Santa
Catarina, Brasil, julho 2017.
BARRéRE, E. Videoaulas: aspectos técnicos, pedagógicos, aplicações e bricolagem. Brasil,
2014.
BRAME, C. J. Effective educational videos: Principles and guidelines for maximizing
student learning from video content. Nashville, Tennessee, USA, maio 2016.
CHORIANOPOULOS, K. A taxonomy of video lecture styles. janeiro 2018.
DANIEL, S. J. Education and the covid-19 pandemic. Vancouver, Canada, abril 2020.
DONAHUE, J. et al. Long-term recurrent convolutional networks for visual recognition and
description. Berkeley, California, USA, novembro 2015.
FILHO, A. de M. C. et al. Creation and validation of an educational video about the
importance of the preanesthetic consultation. Maceió, Alagoas, Brasil, maio 2020.
GOLD, B.; HOLODYNSKI, M. Using digital video to measure the professional vision
of elementary classroom management: Test validation and methodological challenges.
Germany, dezembro 2016.
GUO, P. J.; KIM, J.; RUBIN, R. How video production affects student engagement: an
empirical study of mooc videos. New York, NY, USA, março 2014.
HINES, A. et al. Visqolaudio: An objective audio quality metric for low bitrate codecs.
Dublin, Ireland, maio 2015.
HOLANDA, J. C. F. S. de. Um player de vídeo para coleta de dados de interação e
apoio à tomada de decisão. 66 p. Monografia (Bacharelado) — Instituto de Computação,
Universidade Federal de Alagoas, Maceió, Alagoas, Brasil, 2019. Disponível em: <https:
//ic.ufal.br/graduacao/ciencia-da-computacao/documentos/banco-de-monografias/2019/
um-player-de-video-para-coleta-de-dados-de-interacao-e-apoio-a-tomada-de-decisao/
view>.
ISINKAYE, F. O.; FOLAJIMI, Y. O.; OJOKOH, B. A. Recommendation systems:
Principles, methods and evaluation. Ado Ekiti, Nigeria, agosto 2015.
JAMESON, A.; SMYTH, B. Recommendation to groups. Germany, 2007.
JOSHI, A. et al. Likert scale: Explored and explained. Bhopal, India, fevereiro 2015.

7 Conclusão

JR., H. N. B.; BOONE, D. A. Analyzing likert data. Morgantown, West Virginia, USA, abril
2012.
LAASER, W.; TOLOZA, E. A. The changing role of the educational video in higher
distance education. Hagen, Germany, abril 2017.
LI, N. et al. How do in-video interactions reflect perceived video difficulty? Switzerland,
setembro 2015.
MACHARDY, Z.; PARDOS, Z. A. Evaluating the relevance of educational videos using bkt
and big data. Berkeley, California, USA, 2015.
MATTAR, J. Youtube na educaÇÃo: O uso de vÍdeos em ead. São Paulo, Brasil, maio 2009.
MOTTUS, A. et al. Use of dashboards and visualization techniques to support teacher
decision making. Edmonton, Alberta, Canada, 2015.
NAGUMO, E.; TELES, L. F.; SILVA, L. de A. A utilização de vídeos do youtube como
suporte ao processo de aprendizagem. Brasília, Distrito Federal, Brasil, novembro 2019.
RAABE, A.; BERNARDES, A.; JUNIOR, R. G. A. Produção e avaliação de videoaulas:
Um estudo de caso no ensino de programação. Itajaí, Santa Catarina, Brasil, novembro
2014.
S., K. P. V. S. M.; G., J. A deep learning based system to predict the noise (disturbance) in
audio files. Coimbatore, India, 2020.
SANTOS, A. M. et al. EstratÉgias para desenho e produÇÃo de vÍdeos para cursos em
formato mooc. Lisboa, Portugal, janeiro 2015.
SAURABH, S.; GAUTAM, S. Modelling and statistical analysis of youtube’s educational
videos: A channel owner’s perspective. Uttar Pradesh, India, setembro 2018.
SHARMA, A. et al. Livelinet: A multimodal deep recurrent neural network to predict
liveliness in educational videos. julho 2016.
SHOUFAN, A. Estimating the cognitive value of youtube’s educational videos: A learning
analytics approach. Abu Dhabi, United Arab Emirates, março 2018.
SHOUFAN, A. What motivates university students to like or dislike an educational online
video? a sentimental framework. Abu Dhabi, United Arab Emirates, fevereiro 2019.
SPANHOL, G. K.; SPANHOL, F. J. Processos de produÇÃo de vÍdeo-aula. Santa Catarina,
Brasil, julho 2009.
TOCHON, F. V. From video cases to video pedagogy: A framework for video feedback and
reflection in pedagogical research praxis. Wisconsin, USA, 2007.
VENKATESH, V. Determinants of perceived ease of use: Integrating control, intrinsic
motivation, and emotion into the technology acceptance model. Maryland, USA, dezembro
2000.

75
VENKATESH, V.; DAVIS, F. D. A theoretical extension of the technology acceptance
model: Four longitudinal field studies. Maryland, USA, fevereiro 2000.
ZHANG, D. et al. Instructional video in e-learning: Assessing the impact of interactive
video on learning effectiveness. Baltimore County, Maryland, USA, março 2005.

APPENDIX A – Material Suplementar

Lista de Percepções Consideradas
• Melhoria de Qualidade Técnica: é a percepção que o usuário do dashboard tem
sobre os elementos apresentados que o faz julgar a ferramenta como apropriada, ou
não, para ajudar a melhorar os aspectos técnicos de uma videoaula
• Melhoria de Qualidade Pedagógica: de modo semelhante a percepção anterior, é
a percepção que o usuário do dashboard tem sobre os elementos apresentados que o
faz julgar a ferramenta como apropriada, ou não, para ajudar a melhorar os aspectos
pedagógicos de uma videoaula
• Usabilidade do Dashboard: é a percepção sobre a facilidade de compreensão dos
dados e informações apresentados pelo dashboard através de seus elementos (gráficos,
cards, recomendações, entre outros)
• Utilidade de Informação: é a percepção que o usuário do dashboard tem sobre a
utilidade das informações apresentadas, considerando o uso ao qual aplicarão estas
informações
• Produtividade: é a percepção de ganho de desempenho que um usuário tem sobre o
dashboard, quando considera o uso da ferramenta em seu dia-a-dia para a produção de
videoaulas
• Apoio ao Professor: é a percepção que o usuário do dashboard tem sobre a compreensão dos dados apresentados pela ferramenta no contexto da atividade de um professor
em melhorar suas videoaulas

1 Lista de Percepções Consideradas

• Design: é a percepção que o usuário do dashboard tem sobre os elementos visuais da
ferramenta, como cores, formas, layout, entre outros
• Usabilidade das Recomendações: é a percepção que os usuários do dashboard tem
sobre a facilidade de entender as recomendações geradas
• Finalidade das Recomendações: é a percepção que os usuários do dashboard tem
sobre as recomendações geradas estarem, ou não, adequadas para o propósito a qual
foram criadas
• Utilidade das Recomendações: é a percepção que os usuários do dashboard tem
sobre a utilidade das recomendações
• Aceitação das Recomendações: é a percepção que os usuários do dashboard tem em
utilizar as recomendações geradas em seu dia-a-dia para atividades de produção de
videoaulas