Hope: a conversational agent based-model for pregnant health literacy - Montenegro, João Luis Zeni (2022)
O período gestacional é caracterizado por ser um momento de muita expectativa e ao mesmo tempo crítico para as gestantes devido a um grande contingente de incertezas e dúvidas que atingem a gestante neste período. Os primeiros meses do início da gravidez e do início da maternidade envolvem os estágios de pré natal e pós natal e é conhecido como período dos mil dias do bebê. Durante essa fase, diversos tópicos são explorados pelas gestantes como mitigação de riscos, exercícios físicos, nutrição e outros assuntos que acabam por provocar incertezas e ansiedade neste grupo. Agentes conversacionais vêm sendo utilizados através dos anos como ferramentas de engajamento, suporte e informação em diferentes áreas. Na área da saúde este tipo de ferramenta já vem sendo pesquisada para atuação conjunta a atividades junto a pacientes e médicos. Para esta tese propomos o desenvolvimento, implementação e avaliação de agentes conversacionais baseados no modelo de arquitetura HoPE (Help in Obstetrician for PrEgant) que tem por objetivo atuar na promoção de educação para gestantes através de informações confiáveis. Avaliamos esse modelo por meio de estudos clínicos e experimentos envolvendo a recuperação de informações por uma nova arquitetura para agentes conversacionais. O número de estudos com profissionais de saúde e gestantes ainda são remotos e carecem de mais aprofundamento. As estratégias que elencamos para gerenciamento de diálogo e recuperação de informações são pouco exploradas em conjunto no contexto científico, sendo que não encontramos nenhuma proposta que promova modelos com conceitos similares. A arquitetura desenvolvida tem como principais características a capacidade de recuperação e desambiguação de informações utilizando ontologias e modelos Transformadores. Realizamos quatro avaliações principais que promoveram numerosos insights para estudos neste campo. Em um estudo de caráter quantitativo por meio de questionários semi-estruturados, gestantes e profissionais de saúde participaram de interações junto a agentes conversacionais treinados em dados nutricionais. Os resultados apontaram que ambos os grupos têm percepções positivas sobre a experiência com o agente conversacional e estatisticamente a hipótese nula foi aceita (P-value = 0.713). Em uma segunda avaliação com amostra formada por diferentes gestantes e médicos, verificou-se por meio de uma análise mista que as percepções desses grupos são complementares e positivas sobre o uso de agentes conversacionais na saúde treinados em dados gerais do conteúdo de mil dias na gravidez. A nova amostra de gestantes demonstrou novamente percepção positiva de forma geral sobre novos constructos avaliados (Média Geral = 4.0 Desvio médio = 1.1). Ainda, insights gerados por médicos através da análise qualitativa indicaram algumas melhorias como a inserção de conteúdos sobre COVID-19 e comportamento familiar, além de ajustes na abordagem e linguajar do agente conversacional. Buscamos também o desenvolvimento de um novo tipo de estudo, voltado a avaliação da arquitetura proposta e sua performance frente a tarefas de recuperação de informações. Inicialmente, avaliamos modelos Sentence-BERT pré-treinados em língua portuguesa ajustados a dados de protocolos da saúde que extraímos de protocolos oficiais do Governo do Brasileiro. O modelo BERTimbau treinado em estratégias de aumento de dados, obteve a maior correlação com embeddings gerados pelo corpus de dados da saúde (Spearman:95.55) e foi selecionado como modelo vencedor em nossos experimentos. Usando este modelo, realizamos o segundo estudo que avaliou a performance da arquitetura HoPE para agentes conversacionais. Neste estudo, três métricas principais foram avaliadas: eficácia na recuperação de informações, capacidade da arquitetura para identificar intenções compostas e velocidade de inferência da arquitetura. Para tarefa de recuperação de informações, a arquitetura HoPE obteve um F1-Score de (0.89) sob os dados de teste, um hit score de (90%) na identificação de intenções compostas/únicas sob um conjunto de 10 frases e um desempenho regular na velocidade de recuperação de informação (CPU=2.223, GPU=0.222). Estudos futuros irão avaliar por meio de estudos clínicos a arquitetura híbrida HoPE para recuperação de informações, a validação para grupos de gestantes de diferentes estratos demográficos e aprofundaram o estudo em mecanismos para identificação de múltiplas intenções em diálogos.