Um estudo do uso de testes de qualiﬁcação na plataforma Amazon Mechanical Turk. - SOUSA, Ianna Maria Sodré Ferreira de. (2017)
Muitos sistemas de computação por humanos usam mercados de trabalho crowdsourcing para recrutar trabalhadores. No entanto, devido à natureza aberta desses mercados, garantir que os resultados produzidos pelos trabalhadores possuam uma qualidade suﬁcientemente alta ainda é uma tarefa desaﬁadora, particularmente em mercados de microtarefas, onde a avaliação precisa ser feita de forma automática. A pré-seleção de trabalhadores adequa- dos é um mecanismo que pode melhorar a qualidade dos resultados obtidos. Isso pode ser feito considerando as informações do cadastro pessoal do trabalhador, o comportamento histórico do trabalhador no sistema ou o uso de testes de qualiﬁcação customizados. En- tretanto, pouco se sabe sobre como os solicitantes usam testes de qualiﬁcação na prática e se estes tem inﬂuência na qualidade dos resultados apresentados pelos trabalhadores. Este estudo visa avançar esse conhecimento. Por meio de análise de distribuições, classiﬁcação e agrupamento, as tarefas e os solicitantes foram caracterizados utilizando dados obtidos da plataforma Amazon Mechanical Turk em dois períodos de tempo distintos. Os resultados mostram que a maioria das tarefas (94% e 87%, para a coleta de dados1 e 2,respectivamente) usa algum teste de qualiﬁcação para a pré-seleção de trabalhadores e que o tipo e o número de testes de qualiﬁcação não são determinados pela classe da tarefa. Os solicitantes, em sua maioria, submetem tarefas com apenas um único teste de qualiﬁcação do tipo reputação, no entanto, os solicitantes mais ativos na plataforma usam, exclusivamente, teste de qualiﬁcação customizado. Para avaliar o impacto do uso de testes de qualiﬁcação customizados na qualidade dos resultados produzidos, foram realiza dos experimentos com três tipos diferentes de tarefas usando tanto trabalhadores qualiﬁcados (mestres ou trabalhadores pré-selecionados) como não qualiﬁcados. Os resultados mostram que a pontuação média alcançada pelos trabalhadores pré-selecionados foi sempre maior que a alcançada por trabalhadores que não foram pré-selecionados. Além disso, o desempenho de trabalhadores pré-selecionados foi muito próximo dos trabalhadores considerados mestres e, em alguns cenários, melhor, indicando assim, que é possível obter resultados mais acurados em plataformas de trabalho on-line de microtarefas quando se usa testes de qualiﬁcação.