Publicação
Qualidade dos dados & Machine Learning : uma nova abordagem aos censos populacionais e habitacionais
| Resumo: | O projeto realizado consiste no processo de recolha e preparação de dados manuscritos em papel, da aplicação do inquérito Censo Populacional e Habitacional a uma população de mais de vinte milhões de pessoas. Este é um tipo de inquérito que se faz à população de um país, tendo como objetivo retirar conclusões a nível geográfico tanto da população, como das suas condições de vida. Os Censos são realizados com alguma frequência, o que permite efetuar comparações e perceber a transformação da sociedade e de um país, ao longo dos anos. Com o objetivo de tornar os mais de vinte milhões de inquéritos manuscritos em informação útil e de qualidade acerca de um país e de uma população foi necessário dividir o trabalho em três fases, a fase recolha de dados e da sua conversão de imagem para um formato digital onde o texto possa ser editável, a fase de limpeza e tratamento dos dados e, por último, a fase de análise e classificação dos mesmos. De acordo com cada fase, foram utilizadas diversas metodologias e tecnologias, como é o caso do OCR (Optical Character Recognition), NLP (Natural Language Processing) e Machine Learning, respetivamente. Estas abordagens permitiram uma melhor, mais rápida e mais fiável análise de resultados. |
|---|---|
| Autores principais: | Lopes, Inês Margarida Silva Paz |
| Assunto: | Processamento de Linguagem Natural Censos Distância de Levenshtein Machine Learning Modelo de Naïve Bayes Qualidade dos Dados Reconhecimento Ótico de Caracteres Census Data Quality Levenshtein Distance Natural Language Processing Optical Character Recognition Naïve Bayes Model |
| Ano: | 2019 |
| País: | Portugal |
| Tipo de documento: | dissertação de mestrado |
| Tipo de acesso: | acesso aberto |
| Instituição associada: | Universidade de Lisboa |
| Idioma: | português |
| Origem: | Repositório da Universidade de Lisboa |
| _version_ | 1877770255821963264 |
|---|---|
| author | Lopes, Inês Margarida Silva Paz |
| author_facet | Lopes, Inês Margarida Silva Paz |
| author_role | author |
| contributor_name_str_mv | Reis, António Palma dos Repositório Científico de Acesso Aberto da ULisboa |
| country_str | PT |
| creators_json_txt | [{\"Person.name\":\"Lopes, Inês Margarida Silva Paz\"}] |
| datacite.contributors.contributor.contributorName.fl_str_mv | Reis, António Palma dos Repositório Científico de Acesso Aberto da ULisboa |
| datacite.creators.creator.creatorName.fl_str_mv | Lopes, Inês Margarida Silva Paz |
| datacite.date.Accepted.fl_str_mv | 2019-10-01T00:00:00Z |
| datacite.date.available.fl_str_mv | 2020-09-09T00:30:13Z |
| datacite.date.embargoed.fl_str_mv | 2020-09-09T00:30:13Z |
| datacite.rights.fl_str_mv | http://purl.org/coar/access_right/c_abf2 |
| datacite.subjects.subject.fl_str_mv | Processamento de Linguagem Natural Censos Distância de Levenshtein Machine Learning Modelo de Naïve Bayes Qualidade dos Dados Reconhecimento Ótico de Caracteres Census Data Quality Levenshtein Distance Natural Language Processing Optical Character Recognition Naïve Bayes Model |
| datacite.titles.title.fl_str_mv | Qualidade dos dados & Machine Learning : uma nova abordagem aos censos populacionais e habitacionais |
| dc.contributor.none.fl_str_mv | Reis, António Palma dos Repositório Científico de Acesso Aberto da ULisboa |
| dc.creator.none.fl_str_mv | Lopes, Inês Margarida Silva Paz |
| dc.date.Accepted.fl_str_mv | 2019-10-01T00:00:00Z |
| dc.date.available.fl_str_mv | 2020-09-09T00:30:13Z |
| dc.date.embargoed.fl_str_mv | 2020-09-09T00:30:13Z |
| dc.format.none.fl_str_mv | application/pdf |
| dc.identifier.none.fl_str_mv | http://hdl.handle.net/10400.5/19852 |
| dc.language.none.fl_str_mv | por |
| dc.publisher.none.fl_str_mv | Instituto Superior de Economia e Gestão |
| dc.rights.none.fl_str_mv | http://purl.org/coar/access_right/c_abf2 |
| dc.subject.none.fl_str_mv | Processamento de Linguagem Natural Censos Distância de Levenshtein Machine Learning Modelo de Naïve Bayes Qualidade dos Dados Reconhecimento Ótico de Caracteres Census Data Quality Levenshtein Distance Natural Language Processing Optical Character Recognition Naïve Bayes Model |
| dc.title.fl_str_mv | Qualidade dos dados & Machine Learning : uma nova abordagem aos censos populacionais e habitacionais |
| dc.type.none.fl_str_mv | http://purl.org/coar/resource_type/c_bdcc |
| description | O projeto realizado consiste no processo de recolha e preparação de dados manuscritos em papel, da aplicação do inquérito Censo Populacional e Habitacional a uma população de mais de vinte milhões de pessoas. Este é um tipo de inquérito que se faz à população de um país, tendo como objetivo retirar conclusões a nível geográfico tanto da população, como das suas condições de vida. Os Censos são realizados com alguma frequência, o que permite efetuar comparações e perceber a transformação da sociedade e de um país, ao longo dos anos. Com o objetivo de tornar os mais de vinte milhões de inquéritos manuscritos em informação útil e de qualidade acerca de um país e de uma população foi necessário dividir o trabalho em três fases, a fase recolha de dados e da sua conversão de imagem para um formato digital onde o texto possa ser editável, a fase de limpeza e tratamento dos dados e, por último, a fase de análise e classificação dos mesmos. De acordo com cada fase, foram utilizadas diversas metodologias e tecnologias, como é o caso do OCR (Optical Character Recognition), NLP (Natural Language Processing) e Machine Learning, respetivamente. Estas abordagens permitiram uma melhor, mais rápida e mais fiável análise de resultados. |
| dirty | 0 |
| eu_rights_str_mv | openAccess |
| format | masterThesis |
| fulltext.url.fl_str_mv | https://repositorio.ulisboa.pt/bitstreams/ab3b1b03-784a-41ec-bace-1e45122a1e02/download |
| id | ul_1792ffbbb74d9f45b9d3e6bcea33cd5c |
| identifier.url.fl_str_mv | http://hdl.handle.net/10400.5/19852 |
| inst_facet_str | urn:organizationAcronym:ul{{{_:::_}}}Universidade de Lisboa |
| instacron_str | ul |
| institution | Universidade de Lisboa |
| instname_str | Universidade de Lisboa |
| language | por |
| network_acronym_str | ul |
| network_name_str | Repositório da Universidade de Lisboa |
| oai_identifier_str | oai:repositorio.ulisboa.pt:10400.5/19852 |
| organization_str_mv | urn:organizationAcronym:ul |
| person_str_mv | Lopes, Inês Margarida Silva Paz |
| publishDate | 2019 |
| publisher.none.fl_str_mv | Instituto Superior de Economia e Gestão |
| repo_facet_str | urn:repositoryAcronym:ul{{{_:::_}}}Repositório da Universidade de Lisboa |
| reponame_str | Repositório da Universidade de Lisboa |
| repository_id_str | urn:repositoryAcronym:ul |
| service_str_mv | urn:repositoryAcronym:ul |
| spelling | porInstituto Superior de Economia e Gestãopt_PTO projeto realizado consiste no processo de recolha e preparação de dados manuscritos em papel, da aplicação do inquérito Censo Populacional e Habitacional a uma população de mais de vinte milhões de pessoas. Este é um tipo de inquérito que se faz à população de um país, tendo como objetivo retirar conclusões a nível geográfico tanto da população, como das suas condições de vida. Os Censos são realizados com alguma frequência, o que permite efetuar comparações e perceber a transformação da sociedade e de um país, ao longo dos anos. Com o objetivo de tornar os mais de vinte milhões de inquéritos manuscritos em informação útil e de qualidade acerca de um país e de uma população foi necessário dividir o trabalho em três fases, a fase recolha de dados e da sua conversão de imagem para um formato digital onde o texto possa ser editável, a fase de limpeza e tratamento dos dados e, por último, a fase de análise e classificação dos mesmos. De acordo com cada fase, foram utilizadas diversas metodologias e tecnologias, como é o caso do OCR (Optical Character Recognition), NLP (Natural Language Processing) e Machine Learning, respetivamente. Estas abordagens permitiram uma melhor, mais rápida e mais fiável análise de resultados.application/pdfpt_PTQualidade dos dados & Machine Learning : uma nova abordagem aos censos populacionais e habitacionaisLopes, Inês Margarida Silva PazReis, António Palma dosHostingInstitutionOrganizationalRepositório Científico de Acesso Aberto da ULisboae-mailmailto:repositorio@ulisboa.ptrepositorio@ulisboa.pt2020-09-09T00:30:13Z2019-102019-10-01T00:00:00ZHandlehttp://hdl.handle.net/10400.5/19852http://purl.org/coar/access_right/c_abf2open accessProcessamento de Linguagem NaturalCensosDistância de LevenshteinMachine LearningModelo de Naïve BayesQualidade dos DadosReconhecimento Ótico de CaracteresCensusData QualityLevenshtein DistanceNatural Language ProcessingOptical Character RecognitionNaïve Bayes Model705776 bytesliteraturehttp://purl.org/coar/resource_type/c_bdccmaster thesishttp://purl.org/coar/access_right/c_abf2application/pdffulltexthttps://repositorio.ulisboa.pt/bitstreams/ab3b1b03-784a-41ec-bace-1e45122a1e02/download |
| spellingShingle | Qualidade dos dados & Machine Learning : uma nova abordagem aos censos populacionais e habitacionais Lopes, Inês Margarida Silva Paz Processamento de Linguagem Natural Censos Distância de Levenshtein Machine Learning Modelo de Naïve Bayes Qualidade dos Dados Reconhecimento Ótico de Caracteres Census Data Quality Levenshtein Distance Natural Language Processing Optical Character Recognition Naïve Bayes Model |
| status | SINGLETON |
| subject.fl_str_mv | Processamento de Linguagem Natural Censos Distância de Levenshtein Machine Learning Modelo de Naïve Bayes Qualidade dos Dados Reconhecimento Ótico de Caracteres Census Data Quality Levenshtein Distance Natural Language Processing Optical Character Recognition Naïve Bayes Model |
| title | Qualidade dos dados & Machine Learning : uma nova abordagem aos censos populacionais e habitacionais |
| title_full | Qualidade dos dados & Machine Learning : uma nova abordagem aos censos populacionais e habitacionais |
| title_fullStr | Qualidade dos dados & Machine Learning : uma nova abordagem aos censos populacionais e habitacionais |
| title_full_unstemmed | Qualidade dos dados & Machine Learning : uma nova abordagem aos censos populacionais e habitacionais |
| title_short | Qualidade dos dados & Machine Learning : uma nova abordagem aos censos populacionais e habitacionais |
| title_sort | Qualidade dos dados & Machine Learning : uma nova abordagem aos censos populacionais e habitacionais |
| topic | Processamento de Linguagem Natural Censos Distância de Levenshtein Machine Learning Modelo de Naïve Bayes Qualidade dos Dados Reconhecimento Ótico de Caracteres Census Data Quality Levenshtein Distance Natural Language Processing Optical Character Recognition Naïve Bayes Model |
| topic_facet | Processamento de Linguagem Natural Censos Distância de Levenshtein Machine Learning Modelo de Naïve Bayes Qualidade dos Dados Reconhecimento Ótico de Caracteres Census Data Quality Levenshtein Distance Natural Language Processing Optical Character Recognition Naïve Bayes Model |
| url | http://hdl.handle.net/10400.5/19852 |
| visible | 1 |
Atividades financiadas
Não foram encontrados projetos financiados.