Sistema adaptativo para teleoperação de basemóvel através de reconhecimentos gestuais

• Ano de defesa: 2022
• Autor(a) principal: Martinelli, Dieisson
• Orientador(a): Oliveira, Andre Schneider de
• Banca de defesa: Cantieri, Alvaro Rogério , Oliveira, Andre Schneider de , Kalempa, Vivian Cremer
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Tecnológica Federal do Paraná; Curitiba
• Programa de Pós-Graduação: Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial
• País: Brasil
• Palavras-chave em Português: Robôs móveis; Sistemas de reconhecimento de padrões; Algorítmos - Desenvolvimento; Sistemas de controle ajustável; Sistemas de controle supervisório; Mobile robots; Pattern recognition systems; Algorithms - Development; Adaptive control systems; Supervisory control systems
• Área do conhecimento CNPq: CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA::ELETRONICA INDUSTRIAL, SISTEMAS E CONTROLES ELETRONICOS::AUTOMACAO ELETRONICA DE PROCESSOS ELETRICOS E INDUSTRIAIS
• Link de acesso: http://repositorio.utfpr.edu.br/jspui/handle/1/28785

Robôs teleoperados são geralmente utilizados para operações em ambientes de difícil acesso ou em locais de risco a vida de operadores. Um sistema de teleoperação usa abordagens de interface de movimentação que permitem o envio de comandos a distância para a base móvel robótica. Esses métodos de teleoperação buscam atingir os aspectos de estabilidade e a telepresença. Porém, estes equipamentos tradicionais utilizam de componentes específicos e muitas vezes presos ao corpo do operador, podendo dificultar sua locomoção e teleoperação, além de dificultar sua saída do local em caso de perigo. Neste sentido, essa dissertação tem como finalidade apresentar o desenvolvimento de um sistema adaptativo e intuitivo para teleoperação de uma base móvel acoplado com um braço robótico de três graus de liberdade. Para desenvolver este sistema é apresentado tecnologias de detecção de pose através de técnicas de deep learning extraídas através de uma imagem RGB. Estas técnicas foram utilizadas durante o desenvolvimento deste trabalho em outras pesquisas para a área de teleoperação que culminaram na tecnologia utilizada para este trabalho. Este trabalho faz uma abordagem de toda a estrutura de equipamentos, sensores, adaptações realizadas no Beckman Coulter ORCA, sendo um manipulador robótico de três graus de liberdade, bem como todos os pacotes ROS (Robot Operating System) de comunicação desenvolvido para a aplicação e realização dos experimentos. Este projeto utiliza a pipeline holistic do framework MediaPipe para capturar pontos 2D da posição do corpo do operador através das imagens e dois algoritmos são desenvolvidos através desta framework. O primeiro algoritmo é responsável pela extração de características do operador efetuando o movimento solicitado para executar determinado processo de movimentação. Estas características são utilizadas para o treinamento de um classificador SVM (Support Vector Machine), onde cada gesto é vinculado a uma classe de movimento. O segundo algoritmo é responsável por utilizar os dados coletados do corpo do operador em tempo de processo e identificar, através da classificação, o movimento solicitado pelo operador. Após a classificação do movimento é realizado o cálculo da posição do ponto-chave, que através de técnicas propostas pelo algoritmo deste trabalho resulta em um valor de 0 a 100 de ativação do movimento requerido. Este valor passa por um sistema de controle Fuzzy, que terá como saída o movimento do robô. Os testes são realizados com 20 operadores voluntários com o objetivo de seguir uma trajetória e coletar/entregar um objeto. A avaliação do sistema de teleoperação proposto é realizada por meio de experimentação em um ambiente simulado. Experimentos foram conduzidos para mostrar os benefícios das soluções propostas.