Esta dissertação apresenta uma análise detalhada de vários métodos de transformação de dados, com particular ênfase na sua aplicabilidade, culminando no desenvolvimento de uma ferramenta (framework) para o apoio à decisão de técnicas de transformação. A pesquisa aborda a complexidade na preparação de dados para análise estatística, onde a escolha apropriada de transformações pode ter impacto na qualidade da análise estatística. O estudo examina detalhadamente cada método de transformação, considerando as suas propriedades matemáticas, limitações, pressupostos subjacentes e impacto nos dados originais. A implementação dos métodos é ilustrada com código elaborado na linguagem Python. A framework proposta integra características fundamentais dos dados (como a distribuição, formato, tipo e intervalo de dados) com os requisitos específicos da análise estatística a ser realizada, fornecendo um processo para a seleção da transformação mais adequada. Para complementar, foi desenvolvida uma ferramenta web de forma a agilizar o processo de escolha. A metodologia foi aplicada a alguns casos de estudo de áreas distintas permitindo uma comparação do seu desempenho. Os resultados demonstram que a eficácia das transformações está dependente das características dos dados e dos objetivos.

Key performance indicators are crucial for decision-making and essential to quantify the efficiency and effectiveness of operations management. Nowadays, provided by information technologies, it is possible to gather large sets of data and estimates that help and support the acquisition and calculation of KPIs. Big Data enables companies to use data as a strategic asset for decision-making and create value through data analysis and integration into strategic and operational activities. This dissertation focusses on improving the monitorization of a KPI through BI tools. This KPI is from Carglass Portugal and has the goal of measuring conversion. In order to improve the monitorization of this KPI, an R Script was developed with the goal of improving data pre-processing and a Power BI dashboard was constructed with the aim of enhancing data visualization and data analysis, and consequently decision-making. The methodology adopted was action-research structured in two cycles: Data Pre-Processing and Dashboard Construction. The principal findings of this research conclude that, indeed, BI tools with different purposes can improve efficiency in daily tasks but also enhance and fasten decision-making.

Data quality is essential for a correct understanding of the concepts they represent. Data mining is especially relevant when data with inferior quality is used in algorithms that depend on correct data to create accurate models and predictions. In this work, we introduce the issue of errors of identifiers in an anonymous database. The work proposes a quality evaluation approach that considers individual attributes and a contextual analysis that allows additional quality evaluations. The proposed quality analysis model is a robust means of minimizing anonymization costs.

Education covers a range of sectors from kindergarten to higher education. In the education system, each grade has three possible outcomes: dropout, retention and pass to the next grade. In this work, we study the data from the Department of Statistics of Education and Science (DGEEC) of the Education Ministry. DGEEC maintains those outcomes for each school year, therefore, this study seeks a longitudinal view based on student flow. The document reports the data pre-processing, a stochastic model based on the pre-processed data and a data generation process that uses the previous model.

O presente trabalho se insere na área de mineração de texto, que é um campo com uma ampla gama de aplicações que já foi estudado em diversas áreas e tem um grande potencial de crescimento devido às tecnologias que estão em constante desenvolvimento para permitir um melhor processamento da linguagem natural de forma automatizada. Na área de telecomunicações, porém, não se foi visto muito afinco nesses estudos. Tendo isso em mente, o presente trabalho objetiva mostrar como é feita a coleta e pré-processamento dos dados para aplicações de Processamento de Linguagem Natural (PLN), bem como fazer uma análise introdutória das informações obtidas de um jornal científico. Para tal, foi feito um estudo de caso detalhando a formação do banco de dados por meio do web crawling da revista científica escolhida, e os tratamentos dos dados que são necessários fazer para preparar essas informações para a mineração de texto, tudo isso implementado na linguagem python. Como resultados, esse processamento gerou dados que permitiram uma análise preliminar sobre os artigos da revista International Journal of Interactive Mobile Technologies (iJIM), que mostrou ainda mais possibilidades para a mineração de texto.

A deteção de anomalias é uma tarefa importante para as empresas de distribuição de água, uma vez que os vazamentos nos sistemas de distribuição de água aumentam significativamente os custos económicos e criam escassez de recursos hídricos. A empresa portuguesa Águas do Norte S.A. com o objetivo de melhorar o processo de monitorização e controlo de perdas na rede de distribuição em 2020 começaram a instalar contadores de água inteligentes nos pontos de consumo. O principal objetivo desta dissertação é a identificação de anomalias (ocorrências que se desviam do padrão considerado normal) presentes no primeiro conjunto de dados fornecido por estes contadores inteligentes, com recurso a téc nicas de estatísticas e machine learning. Numa primeira fase, procedeu-se ao pré-processamento dos dados onde foram identificadas anomalias ou discrepâncias (valores negativos, muito elevados, duplica dos, etc.). De seguida, com o objetivo de identificar os diferentes perfis de consumo dos clientes (483 clientes domésticos e 53 não domésticos), realizou-se uma análise de clusters (com base no algoritmo de K-Means) separadamente para cada escala temporal: consumo por hora, por dia, e mês. A análise de componentes principais (PCA) foi aplicada para reduzir a dimensão dos dados antes de aplicar o algoritmo de K-Means. Os clientes com comportamentos de consumo semelhante nas três escalas temporais foram agrupados e as curvas de consumo de água foram calculadas para cada grupo. Os resultados obtidos da análise de clusters fornecem para a empresa uma visão resumida do consumo temporal de água dos seus clientes, que podem ser usados para obter estimativas do consumo de água, bem como para detetar consumos fora do padrão normal (que podem ser possíveis anomalias). Tendo em mente a identificação de consumos fora do padrão normal determinou-se os intervalos de consumos habituais, para cada hora de cada perfil de consumo. Os intervalos de consumos foram calculados com base na distribuição de probabilidades que melhor descreve o consumo médio de cada hora em cada perfil. Para cada caso, di ferentes funções de distribuição de probabilidades (incluindo Weibull, Gamma, Log-normal e Exponencial) foram investigadas na seleção da que melhor se ajusta aos dados. Por fim, é descrito e exemplificado como estes intervalos de consumos poderão ser usados na deteção de registos de consumos diferentes do esperado.

Wearable and IoT devices requiring positioning and localisation services grow in number exponentially every year. This rapid growth also produces millions of data entries that need to be pre-processed prior to being used in any indoor positioning system to ensure the data quality and provide a high Quality of Service (QoS) to the end-user. In this paper, we offer a novel and straightforward data cleansing algorithm for WLAN fingerprinting radio maps. This algorithm is based on the correlation among fingerprints using the Received Signal Strength (RSS) values and the Access Points (APs)'s identifier. We use those to compute the correlation among all samples in the dataset and remove fingerprints with low level of correlation from the dataset. We evaluated the proposed method on 14 independent publicly-available datasets. As a result, an average of 14% of fingerprints were removed from the datasets. The 2D positioning error was reduced by 2.7% and 3D positioning error by 5.3% with a slight increase in the floor hit rate by 1.2% on average. Consequently, the average speed of position prediction was also increased by 14%.

Abstract The rapid growth of user-generated content on multiple online platforms has opened opportunities for improving decision-making across various domains, including healthcare. This dissertation focuses on the development of our Drug Recommendation System based on usergenerated content (DRecSys-SUSA), designed to assist healthcare professionals and patients by providing personalized drug recommendations and supporting informed decision-making. Our research leverages the UCI ML Drug Review dataset as the foundation for developing an advanced recommendation system. Our solution utilizes a combination of modern AI techniques, including Exploratory Data Analysis (EDA), data pre-processing, sentiment analysis (SA), and text generation using a fine-tuned Large Language Model (LLM). We design and propose a recommendation system framework, within which we implement multiple variants of DRecSys-SUSA using different combinations of AI techniques. Each variant generates medically relevant suggestions to user-specific inputs such as age, symptoms, and current medications. Through an iterative process of implementation and evaluation using an LLM-as-judge methodology with AI-generated real-world scenarios, we identify which AI techniques are most beneficial for providing clinically appropriate and user-friendly drug recommendations. The resulting insights contribute to the advancement of AI-driven healthcare tools by establishing effective approaches for leveraging user-generated content in medical recommendation systems.