[pt] ENGENHARIA DE REQUISITOS PARA SISTEMAS INTEGRADOS COM COMPONENTES DE APRENDIZADO DE MÁQUINA: STATUS QUO E PROBLEMA

Bibliographic Details
Main Author: ANTONIO PEDRO SANTOS ALVES
Publication Date: 2024
Format: Doctoral thesis
Language: eng
Source: Repositório Institucional da PUC-RIO (Projeto Maxwell)
Download full: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=65995&idi=1
https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=65995&idi=2
http://doi.org/10.17771/PUCRio.acad.65995
Summary: [pt] Sistemas que usam Aprendizado de Máquina, doravante Machine Learning (ML), tornaram-se comuns para empresas que deseajam melhorar seus produtos, serviços e processos. A literatura sugere que a Engenharia de Requisitos (ER) pode ajudar a explicar muitos problemas relacionados à engenharia de sistemas inteligentes envolvendo componentes de ML (ML-Enabled Systems). Contudo, o cenário atual de evidências empíricas sobre como ER é aplicado na prática no contexto desses sistemas é amplamente dominado por estudos de casos isolados com pouca generalização. Nós conduzimos um survey internacional para coletar informações de profissionais sobre o status quo e problemas de ER para ML-Enabled Systems. Coletamos 188 respostas completas de 25 países. Realizamos uma análise quantitativa sobre as práticas atuais utilizando bootstrapping com intervalos de confiança; e análises qualitativas sobre os problemas reportados através de procedimentos de codificação open e axial. Encontramos diferenças significativas nas práticas de ER no contexto de projetos de ML, algumas já reportadas na literatura e outras totalmente novas. Por exemplo, (i) atividades relacionadas à ER são predominantemente conduzidas por líderes de projeto e cientistas de dados, (ii) o formato de documentação predominante é baseado em Notebooks interativos, (iii) os principais requisitos não-funcionais incluem qualidade dos dados, confiança e explicabilidade no modelo, e (iv) os principais desafios consistem em gerenciar a expectativa dos clientes e alinhar requisitos com os dados disponíveis. As análises qualitativas revelaram que os praticantes enfrentam problemas relacionados ao baixo entendimento sobre o domínio do negócio, requisitos pouco claros e baixo engajamento do cliente. Estes resultados ajudam a melhorar o entendimento sobre práticas adotadas e problemas existentes em cenários reais. Destacamos a necessidade para adaptar ainda mais e disseminar práticas de ER relacionadas à engenharia de ML-Enabled Systems.
id PUC_RIO-1_0c52c8ebc0c323907cf997ff2d2c25f0
oai_identifier_str oai:MAXWELL.puc-rio.br:65995
network_acronym_str PUC_RIO-1
network_name_str Repositório Institucional da PUC-RIO (Projeto Maxwell)
repository_id_str 534
spelling [pt] ENGENHARIA DE REQUISITOS PARA SISTEMAS INTEGRADOS COM COMPONENTES DE APRENDIZADO DE MÁQUINA: STATUS QUO E PROBLEMA[en] REQUIREMENTS ENGINEERING FOR ML-ENABLED SYSTEMS: STATUS QUO AND PROBLEMS[pt] APRENDIZADO DE MAQUINA[pt] SURVEY[pt] ENGENHARIA DE REQUISITOS[en] MACHINE LEARNING[en] SURVEY[en] REQUIREMENTS ENGINEERING[pt] Sistemas que usam Aprendizado de Máquina, doravante Machine Learning (ML), tornaram-se comuns para empresas que deseajam melhorar seus produtos, serviços e processos. A literatura sugere que a Engenharia de Requisitos (ER) pode ajudar a explicar muitos problemas relacionados à engenharia de sistemas inteligentes envolvendo componentes de ML (ML-Enabled Systems). Contudo, o cenário atual de evidências empíricas sobre como ER é aplicado na prática no contexto desses sistemas é amplamente dominado por estudos de casos isolados com pouca generalização. Nós conduzimos um survey internacional para coletar informações de profissionais sobre o status quo e problemas de ER para ML-Enabled Systems. Coletamos 188 respostas completas de 25 países. Realizamos uma análise quantitativa sobre as práticas atuais utilizando bootstrapping com intervalos de confiança; e análises qualitativas sobre os problemas reportados através de procedimentos de codificação open e axial. Encontramos diferenças significativas nas práticas de ER no contexto de projetos de ML, algumas já reportadas na literatura e outras totalmente novas. Por exemplo, (i) atividades relacionadas à ER são predominantemente conduzidas por líderes de projeto e cientistas de dados, (ii) o formato de documentação predominante é baseado em Notebooks interativos, (iii) os principais requisitos não-funcionais incluem qualidade dos dados, confiança e explicabilidade no modelo, e (iv) os principais desafios consistem em gerenciar a expectativa dos clientes e alinhar requisitos com os dados disponíveis. As análises qualitativas revelaram que os praticantes enfrentam problemas relacionados ao baixo entendimento sobre o domínio do negócio, requisitos pouco claros e baixo engajamento do cliente. Estes resultados ajudam a melhorar o entendimento sobre práticas adotadas e problemas existentes em cenários reais. Destacamos a necessidade para adaptar ainda mais e disseminar práticas de ER relacionadas à engenharia de ML-Enabled Systems. [en] Systems that use Machine Learning (ML) have become commonplace for companies that want to improve their products, services, and processes. Literature suggests that Requirements Engineering (RE) can help to address many problems when engineering ML-Enabled Systems. However, the state of empirical evidence on how RE is applied in practice in the context of MLenabled systems is mainly dominated by isolated case studies with limited generalizability. We conducted an international survey to gather practitioner insights into the status quo and problems of RE in ML-enabled systems. We gathered 188 complete responses from 25 countries. We conducted quantitative statistical analyses on contemporary practices using bootstrapping with confidence intervals and qualitative analyses on the reported problems involving open and axial coding procedures. We found significant differences in RE practices within ML projects, some of them have been reported on literature and some are totally new. For instance, (i) RE-related activities are mostly conducted by project leaders and data scientists, (ii) the prevalent requirements documentation format concerns interactive Notebooks, (iii) the main focus of non-functional requirements includes data quality, model reliability, and model explainability, and (iv) main challenges include managing customer expectations and aligning requirements with data. The qualitative analyses revealed that practitioners face problems related to lack of business domain understanding, unclear requirements, and low customer engagement. These results help to provide a better understanding of the adopted practices and which problems exist in practical environments. We put forward the need to adapt further and disseminate RE-related practices for engineering ML-enabled systems. MAXWELLMARCOS KALINOWSKIMARCOS KALINOWSKIMARCOS KALINOWSKIANTONIO PEDRO SANTOS ALVES2024-02-06info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesishttps://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=65995&idi=1https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=65995&idi=2http://doi.org/10.17771/PUCRio.acad.65995engreponame:Repositório Institucional da PUC-RIO (Projeto Maxwell)instname:Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO)instacron:PUC_RIOinfo:eu-repo/semantics/openAccess2024-02-06T00:00:00Zoai:MAXWELL.puc-rio.br:65995Repositório InstitucionalPRIhttps://www.maxwell.vrac.puc-rio.br/ibict.phpopendoar:5342024-02-06T00:00Repositório Institucional da PUC-RIO (Projeto Maxwell) - Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO)false
dc.title.none.fl_str_mv [pt] ENGENHARIA DE REQUISITOS PARA SISTEMAS INTEGRADOS COM COMPONENTES DE APRENDIZADO DE MÁQUINA: STATUS QUO E PROBLEMA
[en] REQUIREMENTS ENGINEERING FOR ML-ENABLED SYSTEMS: STATUS QUO AND PROBLEMS
title [pt] ENGENHARIA DE REQUISITOS PARA SISTEMAS INTEGRADOS COM COMPONENTES DE APRENDIZADO DE MÁQUINA: STATUS QUO E PROBLEMA
spellingShingle [pt] ENGENHARIA DE REQUISITOS PARA SISTEMAS INTEGRADOS COM COMPONENTES DE APRENDIZADO DE MÁQUINA: STATUS QUO E PROBLEMA
ANTONIO PEDRO SANTOS ALVES
[pt] APRENDIZADO DE MAQUINA
[pt] SURVEY
[pt] ENGENHARIA DE REQUISITOS
[en] MACHINE LEARNING
[en] SURVEY
[en] REQUIREMENTS ENGINEERING
title_short [pt] ENGENHARIA DE REQUISITOS PARA SISTEMAS INTEGRADOS COM COMPONENTES DE APRENDIZADO DE MÁQUINA: STATUS QUO E PROBLEMA
title_full [pt] ENGENHARIA DE REQUISITOS PARA SISTEMAS INTEGRADOS COM COMPONENTES DE APRENDIZADO DE MÁQUINA: STATUS QUO E PROBLEMA
title_fullStr [pt] ENGENHARIA DE REQUISITOS PARA SISTEMAS INTEGRADOS COM COMPONENTES DE APRENDIZADO DE MÁQUINA: STATUS QUO E PROBLEMA
title_full_unstemmed [pt] ENGENHARIA DE REQUISITOS PARA SISTEMAS INTEGRADOS COM COMPONENTES DE APRENDIZADO DE MÁQUINA: STATUS QUO E PROBLEMA
title_sort [pt] ENGENHARIA DE REQUISITOS PARA SISTEMAS INTEGRADOS COM COMPONENTES DE APRENDIZADO DE MÁQUINA: STATUS QUO E PROBLEMA
author ANTONIO PEDRO SANTOS ALVES
author_facet ANTONIO PEDRO SANTOS ALVES
author_role author
dc.contributor.none.fl_str_mv MARCOS KALINOWSKI
MARCOS KALINOWSKI
MARCOS KALINOWSKI
dc.contributor.author.fl_str_mv ANTONIO PEDRO SANTOS ALVES
dc.subject.por.fl_str_mv [pt] APRENDIZADO DE MAQUINA
[pt] SURVEY
[pt] ENGENHARIA DE REQUISITOS
[en] MACHINE LEARNING
[en] SURVEY
[en] REQUIREMENTS ENGINEERING
topic [pt] APRENDIZADO DE MAQUINA
[pt] SURVEY
[pt] ENGENHARIA DE REQUISITOS
[en] MACHINE LEARNING
[en] SURVEY
[en] REQUIREMENTS ENGINEERING
description [pt] Sistemas que usam Aprendizado de Máquina, doravante Machine Learning (ML), tornaram-se comuns para empresas que deseajam melhorar seus produtos, serviços e processos. A literatura sugere que a Engenharia de Requisitos (ER) pode ajudar a explicar muitos problemas relacionados à engenharia de sistemas inteligentes envolvendo componentes de ML (ML-Enabled Systems). Contudo, o cenário atual de evidências empíricas sobre como ER é aplicado na prática no contexto desses sistemas é amplamente dominado por estudos de casos isolados com pouca generalização. Nós conduzimos um survey internacional para coletar informações de profissionais sobre o status quo e problemas de ER para ML-Enabled Systems. Coletamos 188 respostas completas de 25 países. Realizamos uma análise quantitativa sobre as práticas atuais utilizando bootstrapping com intervalos de confiança; e análises qualitativas sobre os problemas reportados através de procedimentos de codificação open e axial. Encontramos diferenças significativas nas práticas de ER no contexto de projetos de ML, algumas já reportadas na literatura e outras totalmente novas. Por exemplo, (i) atividades relacionadas à ER são predominantemente conduzidas por líderes de projeto e cientistas de dados, (ii) o formato de documentação predominante é baseado em Notebooks interativos, (iii) os principais requisitos não-funcionais incluem qualidade dos dados, confiança e explicabilidade no modelo, e (iv) os principais desafios consistem em gerenciar a expectativa dos clientes e alinhar requisitos com os dados disponíveis. As análises qualitativas revelaram que os praticantes enfrentam problemas relacionados ao baixo entendimento sobre o domínio do negócio, requisitos pouco claros e baixo engajamento do cliente. Estes resultados ajudam a melhorar o entendimento sobre práticas adotadas e problemas existentes em cenários reais. Destacamos a necessidade para adaptar ainda mais e disseminar práticas de ER relacionadas à engenharia de ML-Enabled Systems.
publishDate 2024
dc.date.none.fl_str_mv 2024-02-06
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=65995&idi=1
https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=65995&idi=2
http://doi.org/10.17771/PUCRio.acad.65995
url https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=65995&idi=1
https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=65995&idi=2
http://doi.org/10.17771/PUCRio.acad.65995
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv MAXWELL
publisher.none.fl_str_mv MAXWELL
dc.source.none.fl_str_mv reponame:Repositório Institucional da PUC-RIO (Projeto Maxwell)
instname:Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO)
instacron:PUC_RIO
instname_str Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO)
instacron_str PUC_RIO
institution PUC_RIO
reponame_str Repositório Institucional da PUC-RIO (Projeto Maxwell)
collection Repositório Institucional da PUC-RIO (Projeto Maxwell)
repository.name.fl_str_mv Repositório Institucional da PUC-RIO (Projeto Maxwell) - Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO)
repository.mail.fl_str_mv
_version_ 1849967325785096192