00 CAMPUS ARISTÓTELES CALAZANS SIMÕES (CAMPUS A. C. SIMÕES) IM - INSTITUTO DE MATEMÁTICA Dissertações e Teses defendidas na UFAL - IM
Use este identificador para citar ou linkar para este item: http://www.repositorio.ufal.br/jspui/handle/riufal/2257
Tipo: Dissertação
Título: Reconhecimento de gestos customizados da mão em tempo real usando aprendizado de métricas e grafos de ação
Título(s) alternativo(s): Custom hand gestures recognition in real time using metric learning and action graphs
Autor(es): Silva, Samuel Rocha
Primeiro Orientador: Vieira, Thales Miranda de Almeida
metadata.dc.contributor.referee1: Silva, Adelailson Peixoto da
metadata.dc.contributor.referee2: Morera, Dimas Martinez
metadata.dc.contributor.referee3: Vieira, Tiago Figueiredo
Resumo: Devido à recente popularização dos sensores de profundidade e de movimento, o reconhecimento eficiente de gestos humanos tem se apresentado como uma alternativa para interação homem-máquina. Nesta dissertação tratamos, em particular, do reconhecimento de gestos da mão em tempo real utilizando o sensor Leap Motion. Consideramos que um gesto dinâmico, em geral, pode ser representado por uma pequena sequência finita de poses estáticas, as quais são treinadas e reconhecidas por um novo classificador baseado em aprendizagem de métricas denominado Classificador de Distâncias Médias Mínimas (DMM). Para aprender métricas no espaço de poses, experimentamos o algoritmo Large Margin Nearest Neighbor (LMNN) nas versões linear e não-linear. Para reconhecer gestos dinâmicos, apresentamos um classificador baseado nos Modelos ocultos de Markov (HMM) e em grafos de ação. Com esta abordagem probabilística, mostramos que gestos dinâmicos da mão podem ser reconhecidos em tempo real e online, ou seja, sem a necessidade de pausas ou segmentações extras por parte do usuário. Finalmente, experimentamos o método proposto em quatro aplicações, onde destacamos o reconhecimento de sinais da Língua Brasileira de Sinais (LIBRAS). Os resultados apresentados mostram a robustez de todas as variações do método proposto.
Abstract: The recent popularization of depth and motion sensors, human gestures recognition has become an alternative for human-computer interaction. In this Masters dissertation we focus on hand gesture recognition in real time using the Leap Motion sensor. We consider that a dynamic gesture can be represented by a small finite sequence of static poses, which are trained and recognized by a novel classifier based on metric learning called Minimal Mean Distances Classifier (MMD). To learn metrics in the pose space, we experimented the Large Margin Nearest Neighbor (LMNN) algorithm in both linear and non-linear variants. To recognize dynamic gestures, we present a classifier based on the Hidden Markov Model (HMM) and action graphs. Using this probabilistic approach, we show that dynamic hand gestures can be recognized in real-time and online (not requiring pauses or segmentation information to the user). Finally, we experimented the proposed method in four applications, highlighting the recognition of signals of the Brazilian Sign Language (LIBRAS). The presented results show the robustness of all variations of the proposed method.
Palavras-chave: Língua Brasileira de Sinais (LIBRAS)
Leap motion
Aprendizagem de máquina
Reconhecimento de gestos
Aprendizagem de métrica
Brazilian sign language
Machine learning
Recognition of gestures
Metric learning
CNPq: CNPQ::CIENCIAS EXATAS E DA TERRA::MATEMATICA
Idioma: por
País: Brasil
Editor: Universidade Federal de Alagoas
Sigla da Instituição: UFAL
metadata.dc.publisher.program: Programa de Pós-Graduação em Matemática
Citação: SILVA, Samuel Rocha. Reconhecimento de gestos customizados da mão em tempo real usando aprendizado de métricas e grafos de ação. 2017. 111 f. Dissertação (Mestrado em Matemática) - Instituto de Matemática, Programa de Pós-Graduação em Matemática, Universidade Federal de Alagoas, Maceió, 2017.
Tipo de Acesso: Acesso Aberto
URI: http://www.repositorio.ufal.br/handle/riufal/2257
Data do documento: 13-set-2017
Aparece nas coleções:Dissertações e Teses defendidas na UFAL - IM

Arquivos associados a este item:
Arquivo Descrição TamanhoFormato 
Reconhecimento de gestos customizados da mão em tempo real usando aprendizado de métricas e grafos de ação.pdf6.64 MBAdobe PDFVisualizar/Abrir


Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.