Use este identificador para citar ou linkar para este item: http://www.repositorio.ufal.br/handle/riufal/2537
Tipo: Dissertação
Título: Modelos e técnicas para melhorar a qualidade da avaliação automática para atividades escritas em língua portuguesa brasileira
Título(s) alternativo(s): Models and techniques to improve the quality of automatic assessment of written activities in brazilian portuguese
Autor(es): Santos Júnior, Jário José dos
Primeiro Orientador: Pinto, Ig Ibert Bittencourt Santana
Primeiro Coorientador: Paiva, Ranilson Oscar Araújo
Primeiro Membro da Banca: Brito, Patrick Henrique da Silva
Segundo Membro da Banca: Coelho, Jorge Artur Peçanha de Miranda
Resumo: Diante da sobrecarga gerada pela avaliação de atividades escritas em ambientes EAD, diferentes sistemas, como Coursera e edX, vêm adaptando suas abordagens para a avaliação das devidas atividades. Contudo, utilizando abordagens distintas, ambos os sistemas fazem uso dos mais populares métodos de avaliação dessas atividades, avaliação por pares e avaliação automática. Entretanto, cada técnica apresenta suas vantagens e desvantagens, principalmente sob o olhar na aprendizagem do aluno, uma vez que além de propiciar um aumento na aprendizagem, avaliação por pares se destaca por possuir qualidade na avaliação semelhante ao de um especialista. Mas, avaliação automática ganha olhares por se tratar de um método que provê rápido feedback, e que, quanto maior a base de treino, a técnica apresenta melhor eficácia, além de ser utilizado com o próprio sistema EAD em diferentes aspectos, como por exemplo, acompanhamento das limitações existentes nos alunos, entre outras palavras, quais são as dúvidas que determinado aluno possui, que são extraídas através de características oriundas da avaliação de atividades subjetivas. Com isso, o presente trabalho propõe um modelo de avaliação com qualidade de atividades subjetivas, com o intuito de diminuir a sobrecarga gerada pela avaliação de atividades subjetivas no professor e auxiliar no processo da aprendizagem dos alunos. O sistema foi calibrado com aproximadamente 5407 avaliações e redações, onde passou por um experimento contendo 60 redações que indicou que as avaliações realizada pela abordagem são semelhantes às avaliações realizadas pelo especialista com 95% de nível de confiança. Além de mostrar um precisão mais elevada em relação à avaliação provida pela abordagem.
Abstract: Against the workload generated by the evaluation of activities written in online learning, different systems, like Coursera and edX, have adapted their approaches to the evaluation of the appropriate activities. However, using differents approaches, both systems do use of the most popular methods of evaluating such activities, peer review, and automatic evaluation. However, each technique presents its advantages and disadvantages, especially under the student learning perspective, since in addition to providing an increase in learning, peer evaluation stands out for having quality in the assessment similar to that of a specialist. But, automatic essay evaluation is a method that provides fast feedback, and how larger the training base is, the technique has better efficacy, in addition to being used with the online learning system in different aspects, such as monitoring the existing limitations in students, among other words, what are the doubts that a student has, which are extracted from patterns derived from the evaluation of subjective activities. Thus, the present work proposes a model to evaluate efficiently subjective activities, reducing the workload generated by the evaluation of subjective activities by the teacher. The automatic essay score system was calibrated with approximately 5407 evaluations and essays, where it underwent an experiment containing 60 essays which indicated that the evaluations carried out by the approach are similar to the expert’s evaluations with 95% level of trust. In addition to showing a higher accuracy in relation to the evaluation provided by the approach.
Palavras-chave: Tecnologias educacional
Processamento de linguagem natural (PLN)
Atividade escrita – Avaliação automática
Atividade subjetiva – Avaliação automática
Written activity - Automatic evaluation
Natural Language Processing
Teacher workload
Educational Technologies
Subjective activity - Automatic evaluation
CNPq: CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Idioma: por
País: Brasil
Editor: Universidade Federal de Alagoas
Sigla da Instituição: UFAL
metadata.dc.publisher.program: Programa de Pós-Graduação em Informática
Citação: SANTOS JÚNIOR, Jário José dos. Modelos e técnicas para melhorar a qualidade da avaliação automática para atividades escritas em língua portuguesa brasileira. 2017. 76 f. Dissertação (Mestrado em Informática) – Instituto de Computação, Programa de Pós-Graduação em Informática, Universidade Federal de Alagoas, Maceió, 2018.
Tipo de Acesso: Acesso Aberto
URI: http://www.repositorio.ufal.br/handle/riufal/2537
Data do documento: 20-Out-2017
Aparece nas coleções:IC - Instituto de Computação



Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.