Human path prediction through machine learning trained with 2D video data and estimated 3D pose data

• Ano de defesa: 2019
• Autor(a) principal: Camelo, Guilherme Antonio
• Orientador(a): Vicari, Rosa Maria
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Palavras-chave em Português: Inteligência artificial; Aprendizado : máquina; 3D; Vídeo digital
• Palavras-chave em Inglês: Deep Learning; Path Prediction; Kinect; Robotics; 3D Pose Estimation; Openpose
• Link de acesso: http://hdl.handle.net/10183/199946

A interação entre robôs e humanos vem avançando a um ritmo cada vez maior. Estar ciente não só de onde os humanos estão, mas também prever aonde os humanos irão e o que farão é um recurso valioso de se ter em um robô assistente. O principal objetivo deste projeto é explorar formas de melhorar essa habilidade. Trajetórias futuras de hu- manos caminhando são previstas usando deep learning alimentado com dados RGB em um ambiente controlado com a intenção de melhor assistir humanos quando necessário. Kinect foi usado para atingir esse objetivo junto com suas câmeras RGB e infraverme- lha. Dados de pessoas caminhando em um ambiente controlado foram coletados e um dataset foi criado, bem como foram utilizados dados do dataset Human3.6m. Os dados foram usados para treinar modelos RNN-LSTM criados para prever caminhos futuros. Openpose foi empregado para identificar humanos e suas articulações do corpo, além de criar poses. Os dados de pose 3D foram estimados a partir de dados de pose 2D usando um estimador de pose 3D, reconstruindo um caminho no espaço 3D. Um modelo LSTM foi desenvolvido e treinado com dados adquiridos dos poses 3D estimados. O modelo de predição de trajetória 3D foi avaliado em comparação com um modelo de predição de caminho 2D. Embora os modelos pudessem aprender com os dados e apresentar boas previsões em alguns casos, eles não foram capazes de aprender em outras situações. As métricas utilizadas para obter resultados quantitativos apresentaram limitações para medir as previsões. As limitações do uso do estimador de Pose 3D para reconstrução de cami- nho em 3D foram descritas. Como resultado do nosso trabalho, modelos que prevêem o caminho futuro de pessoas com diferentes designs e performances foram desenvolvidos. Como contribuição, um dataset de 113 GB contendo pessoas andando em um ambiente controlado foi coletado e uma metodologia para estimativa do caminho 3D baseado no pose 2D foi proposta.