Análise das métricas SMART em HDDs para modelos de predição de falha nos discos usados em data centers para a nuvem

Detalhes bibliográficos
Autor(a) principal: Baleeiro, Pedro Freire
Data de Publicação: 2024
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UFSCAR
Texto Completo: https://repositorio.ufscar.br/handle/20.500.14289/20639
Resumo: Cloud data storage is one of the main activities of large cloud infrastructure providers. Objects (unstructured data) make up a large part of what is stored, and Hard Drives (HDs) are still the most widely used media to achieve significant amounts of storage at the best cost-benefit. The entire cloud service infrastructure must be redundant so that the data and the mechanism as a whole are reliable, durable, and available to the maximum. Thus, a significant aspect that has not yet been sufficiently explored and which is the subject of this work is the predictive maintenance of hard drives. In this work, the mechanisms behind this subject are explained by comparing redundancy strategies (Replication and Erasure Coding), monitoring SMART metrics and system reliability, calculating the Lifetime Value (RUL) of devices, and developing Machine Learning models to predict imminent failures in disks of a model. Furthermore, an experiment described in the article “Interpretable predictive maintenance for hard drives” [1] is replicated for a different disk model and range. Finally, considerations are gathered about the effectiveness of this model to treat the data in question and provide greater durability and reliability for a storage system based on hard drives. As a result, we seek to provide a broad knowledge of the subjects involved in this work.
id SCAR_e03c079557734f577b93938ff3a4c8c0
oai_identifier_str oai:repositorio.ufscar.br:20.500.14289/20639
network_acronym_str SCAR
network_name_str Repositório Institucional da UFSCAR
repository_id_str 4322
spelling Baleeiro, Pedro FreireGuardia, Hélio Crestanahttp://lattes.cnpq.br/1780902767520967http://lattes.cnpq.br/5189907384996909https://orcid.org/0000-0001-5010-747X2024-09-24T12:28:54Z2024-09-24T12:28:54Z2024-09-05BALEEIRO, Pedro Freire. Análise das métricas SMART em HDDs para modelos de predição de falha nos discos usados em data centers para a nuvem. 2024. Trabalho de Conclusão de Curso (Graduação em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2024. Disponível em: https://repositorio.ufscar.br/handle/20.500.14289/20639.https://repositorio.ufscar.br/handle/20.500.14289/20639Cloud data storage is one of the main activities of large cloud infrastructure providers. Objects (unstructured data) make up a large part of what is stored, and Hard Drives (HDs) are still the most widely used media to achieve significant amounts of storage at the best cost-benefit. The entire cloud service infrastructure must be redundant so that the data and the mechanism as a whole are reliable, durable, and available to the maximum. Thus, a significant aspect that has not yet been sufficiently explored and which is the subject of this work is the predictive maintenance of hard drives. In this work, the mechanisms behind this subject are explained by comparing redundancy strategies (Replication and Erasure Coding), monitoring SMART metrics and system reliability, calculating the Lifetime Value (RUL) of devices, and developing Machine Learning models to predict imminent failures in disks of a model. Furthermore, an experiment described in the article “Interpretable predictive maintenance for hard drives” [1] is replicated for a different disk model and range. Finally, considerations are gathered about the effectiveness of this model to treat the data in question and provide greater durability and reliability for a storage system based on hard drives. As a result, we seek to provide a broad knowledge of the subjects involved in this work.O armazenamento de dados na nuvem é uma das principais atividades dos grandes provedores de infraestrutura em nuvem. Os objetos (dados não estruturados) compõem grande parte do que é guardado e os Discos Rígidos (HDs) ainda são a mídia mais utilizada para atingir quantidades significativas de armazenamento pelo melhor custo-benefício. Toda a infraestrutura do serviço na nuvem deve ser redundante, para que os dados e o mecanismo como um todo seja confiável, durável e disponível ao máximo. Dessa forma, um aspecto significativo e ainda não suficientemente explorado e que é tema deste trabalho é o de manutenção preditiva dos discos rígidos. Neste trabalho, os mecanismos por trás desse assunto são explicados por meio da comparação das estratégias de redundância (Replicação e Erasure Coding), do monitoramento de métricas SMART e da confiabilidade do sistema, do cálculo de Tempo de Vida Útil (RUL) dos dispositivos e do desenvolvimento de modelos de Aprendizado de Máquina para predizer falhas iminentes em discos de um modelo. Ademais, é feita a replicação de um experimento descrito no artigo “Interpretable predictive maintenance for hard drives” [1] para um modelo de disco e intervalo diferentes. Por fim, considerações são reunidas sobre a efetividade desse modelo para tratar os dados em questão e prover maior durabilidade e confiabilidade para um sistema de armazenamento baseado em discos rígidos. Como resultado, busca-se fornecer um largo conhecimento dos assuntos que envolvem o tema deste trabalho.OutraProjeto FAI: 15341 - ProEx nº 4924/2023-18 - Pesquisa e desenvolvimento em tecnologias para data centers utilizando virtualizaçãoporUniversidade Federal de São CarlosCâmpus São CarlosCiência da Computação - CCUFSCarAttribution-NonCommercial-ShareAlike 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-sa/3.0/br/info:eu-repo/semantics/openAccessArmazenamento em nuvemTolerância a falhasSMARTAprendizado de máquinaCloud storageHard disksFault toleranceMachine learningCIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAOAnálise das métricas SMART em HDDs para modelos de predição de falha nos discos usados em data centers para a nuvemAnalysis of SMART metrics in HDDs for failure prediction models in disks used in cloud data centersinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisreponame:Repositório Institucional da UFSCARinstname:Universidade Federal de São Carlos (UFSCAR)instacron:UFSCARTEXTTCC final hdd failure Pedro Baleeiro.pdf.txtTCC final hdd failure Pedro Baleeiro.pdf.txtExtracted texttext/plain103142https://repositorio.ufscar.br/bitstreams/67a61a71-8c3f-4e23-b83e-d547a5ae114f/downloadd47fdd3489be3d7e7e49444828852887MD53falseAnonymousREADTHUMBNAILTCC final hdd failure Pedro Baleeiro.pdf.jpgTCC final hdd failure Pedro Baleeiro.pdf.jpgGenerated Thumbnailimage/jpeg4583https://repositorio.ufscar.br/bitstreams/90220068-4ec5-447f-b940-43254d873cd6/download3721c7b9bcaf5b79df521bcaacd54edeMD54falseAnonymousREADORIGINALTCC final hdd failure Pedro Baleeiro.pdfTCC final hdd failure Pedro Baleeiro.pdfapplication/pdf2616226https://repositorio.ufscar.br/bitstreams/31c517a7-bdda-4a21-b3af-766152572731/download4cc3b620d19a2230409d5278b57f4a72MD51trueAnonymousREADCC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-81036https://repositorio.ufscar.br/bitstreams/2d8a047a-710c-4f22-ba40-b97b949f86dc/download36c17387d15ae3a457ba8815a26942c5MD52falseAnonymousREAD20.500.14289/206392025-02-06 03:21:56.207http://creativecommons.org/licenses/by-nc-sa/3.0/br/Attribution-NonCommercial-ShareAlike 3.0 Brazilopen.accessoai:repositorio.ufscar.br:20.500.14289/20639https://repositorio.ufscar.brRepositório InstitucionalPUBhttps://repositorio.ufscar.br/oai/requestrepositorio.sibi@ufscar.bropendoar:43222025-02-06T06:21:56Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR)false
dc.title.por.fl_str_mv Análise das métricas SMART em HDDs para modelos de predição de falha nos discos usados em data centers para a nuvem
dc.title.alternative.por.fl_str_mv Analysis of SMART metrics in HDDs for failure prediction models in disks used in cloud data centers
title Análise das métricas SMART em HDDs para modelos de predição de falha nos discos usados em data centers para a nuvem
spellingShingle Análise das métricas SMART em HDDs para modelos de predição de falha nos discos usados em data centers para a nuvem
Baleeiro, Pedro Freire
Armazenamento em nuvem
Tolerância a falhas
SMART
Aprendizado de máquina
Cloud storage
Hard disks
Fault tolerance
Machine learning
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO
title_short Análise das métricas SMART em HDDs para modelos de predição de falha nos discos usados em data centers para a nuvem
title_full Análise das métricas SMART em HDDs para modelos de predição de falha nos discos usados em data centers para a nuvem
title_fullStr Análise das métricas SMART em HDDs para modelos de predição de falha nos discos usados em data centers para a nuvem
title_full_unstemmed Análise das métricas SMART em HDDs para modelos de predição de falha nos discos usados em data centers para a nuvem
title_sort Análise das métricas SMART em HDDs para modelos de predição de falha nos discos usados em data centers para a nuvem
author Baleeiro, Pedro Freire
author_facet Baleeiro, Pedro Freire
author_role author
dc.contributor.authorlattes.por.fl_str_mv http://lattes.cnpq.br/5189907384996909
dc.contributor.advisor1orcid.por.fl_str_mv https://orcid.org/0000-0001-5010-747X
dc.contributor.author.fl_str_mv Baleeiro, Pedro Freire
dc.contributor.advisor1.fl_str_mv Guardia, Hélio Crestana
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/1780902767520967
contributor_str_mv Guardia, Hélio Crestana
dc.subject.por.fl_str_mv Armazenamento em nuvem
Tolerância a falhas
SMART
Aprendizado de máquina
topic Armazenamento em nuvem
Tolerância a falhas
SMART
Aprendizado de máquina
Cloud storage
Hard disks
Fault tolerance
Machine learning
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO
dc.subject.eng.fl_str_mv Cloud storage
Hard disks
Fault tolerance
Machine learning
dc.subject.cnpq.fl_str_mv CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO
description Cloud data storage is one of the main activities of large cloud infrastructure providers. Objects (unstructured data) make up a large part of what is stored, and Hard Drives (HDs) are still the most widely used media to achieve significant amounts of storage at the best cost-benefit. The entire cloud service infrastructure must be redundant so that the data and the mechanism as a whole are reliable, durable, and available to the maximum. Thus, a significant aspect that has not yet been sufficiently explored and which is the subject of this work is the predictive maintenance of hard drives. In this work, the mechanisms behind this subject are explained by comparing redundancy strategies (Replication and Erasure Coding), monitoring SMART metrics and system reliability, calculating the Lifetime Value (RUL) of devices, and developing Machine Learning models to predict imminent failures in disks of a model. Furthermore, an experiment described in the article “Interpretable predictive maintenance for hard drives” [1] is replicated for a different disk model and range. Finally, considerations are gathered about the effectiveness of this model to treat the data in question and provide greater durability and reliability for a storage system based on hard drives. As a result, we seek to provide a broad knowledge of the subjects involved in this work.
publishDate 2024
dc.date.accessioned.fl_str_mv 2024-09-24T12:28:54Z
dc.date.available.fl_str_mv 2024-09-24T12:28:54Z
dc.date.issued.fl_str_mv 2024-09-05
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv BALEEIRO, Pedro Freire. Análise das métricas SMART em HDDs para modelos de predição de falha nos discos usados em data centers para a nuvem. 2024. Trabalho de Conclusão de Curso (Graduação em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2024. Disponível em: https://repositorio.ufscar.br/handle/20.500.14289/20639.
dc.identifier.uri.fl_str_mv https://repositorio.ufscar.br/handle/20.500.14289/20639
identifier_str_mv BALEEIRO, Pedro Freire. Análise das métricas SMART em HDDs para modelos de predição de falha nos discos usados em data centers para a nuvem. 2024. Trabalho de Conclusão de Curso (Graduação em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2024. Disponível em: https://repositorio.ufscar.br/handle/20.500.14289/20639.
url https://repositorio.ufscar.br/handle/20.500.14289/20639
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Attribution-NonCommercial-ShareAlike 3.0 Brazil
http://creativecommons.org/licenses/by-nc-sa/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-NonCommercial-ShareAlike 3.0 Brazil
http://creativecommons.org/licenses/by-nc-sa/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de São Carlos
Câmpus São Carlos
Ciência da Computação - CC
dc.publisher.initials.fl_str_mv UFSCar
publisher.none.fl_str_mv Universidade Federal de São Carlos
Câmpus São Carlos
Ciência da Computação - CC
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSCAR
instname:Universidade Federal de São Carlos (UFSCAR)
instacron:UFSCAR
instname_str Universidade Federal de São Carlos (UFSCAR)
instacron_str UFSCAR
institution UFSCAR
reponame_str Repositório Institucional da UFSCAR
collection Repositório Institucional da UFSCAR
bitstream.url.fl_str_mv https://repositorio.ufscar.br/bitstreams/67a61a71-8c3f-4e23-b83e-d547a5ae114f/download
https://repositorio.ufscar.br/bitstreams/90220068-4ec5-447f-b940-43254d873cd6/download
https://repositorio.ufscar.br/bitstreams/31c517a7-bdda-4a21-b3af-766152572731/download
https://repositorio.ufscar.br/bitstreams/2d8a047a-710c-4f22-ba40-b97b949f86dc/download
bitstream.checksum.fl_str_mv d47fdd3489be3d7e7e49444828852887
3721c7b9bcaf5b79df521bcaacd54ede
4cc3b620d19a2230409d5278b57f4a72
36c17387d15ae3a457ba8815a26942c5
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR)
repository.mail.fl_str_mv repositorio.sibi@ufscar.br
_version_ 1834468998856572928