A popularidade do rato de computador como modo preferencial de interação com aplicações de computador é inigualável. Mesmo no tempo dos smartphones e tablets, que trouxeram ao público em geral inovações como o modo de controlo através do toque, não existe uma grande variedade nos modos de interação com os diversos dispositivos que usamos no quotidiano. Este trabalho propõe uma nova abordagem para controlo, à distância, de aplicações de streaming de vídeo. A aplicação desenvolvida nesta dissertação procura um meio mais natural de interação com este tipo de plataformas usando interações gestuais, captadas pela câmara de profundidade RealSense D435. Câmaras de profundidade, ao contrário de câmaras de vídeo comuns, utilizam um fluxo de luz infravermelha para determinar a distância dos objetos relativamente à câmara. A câmara utilizada neste projeto possui capacidades de captura tanto neste modo, como no modo comum RGB. Foi criada de raiz uma interface gráfica inspirada pela plataforma Netflix, para permitir o controlo dos seus botões e os vídeos reproduzidos, programaticamente. Foram desenvolvidos dois protótipos com tecnologias distintas para interagir com a interface. O primeiro, utiliza métodos de tratamento de imagem para retirar a informação pretendida, e um modelo pré-treinado de reconhecimento de gestos para identificar o gesto realizado. O segundo, integra um modelo de deteção e classificação de objetos otimizado para deteção e rastreamento de mãos entre frames. Foram feitas análises experimentais entre ambos e selecionado o segundo protótipo para prosseguir a testes com utilizadores. A aplicação foi testada por 11 participantes, num estudo que comparou os seus tempos de utilização da aplicação por meio de interações gestuais com os tempos de utilização com o rato de computador. O sistema mereceu, por parte dos participantes, uma pontuação SUS “aceitável”. Conclui-se que o sistema alcançou as expectativas iniciais, ainda que possua limitações aparentes que poderão ser mitigadas em iterações futuras.

No presente trabalho foi desenvolvida uma solução de apoio a pessoas idosas, doentes ou com limitações físicas, baseada em técnicas de aprendizagem automática e visão por computador. Os modelos de aprendizagem profunda utilizados resolvem problemas de classificação de imagens. Para desenvolver a solução proposta foi utilizada a linguagem Python e as bibliotecas TensorFlow, MediaPipe e OpenCV. Antes de treinar os modelos de aprendizagem automática, foram aplicadas técnicas de pré processamento às imagens, para as preparar para os modelos classificadores. A solução final desenvolvida combina duas tarefas de classificação diferentes: a estimação da pose humana e o reconhecimento de expressões faciais. Para estimar a pose humana, primeiro utilizou-se um algoritmo que identifica a posição das articulações do corpo, sendo estas posições posteriormente classificadas com uma rede neuronal convolucional em três classes, queda, sentado e em pé/a andar. Para efetuar o reconhecimento de expressões faciais utilizaram-se dois tipos de dados, os atributos de cor dos pixeis das imagens e os pontos de referência das faces previamente identificadas. Estes dados foram depois classificados por uma rede neuronal híbrida, que inclui uma rede completamente ligada a uma rede convolucional. A solução final proposta combina estes dois modelos, o que permite a partir de uma imagem de uma pessoa, gerar um aviso se o modelo de estimação da pose detetar uma queda ou quando o modelo de reconhecimento de expressões faciais identificar uma expressão de dor. O modelo de estimação da pose identificou a classe queda com uma precisão de 97%, um recall de 98% e uma acurácia de 97%. A expressão de dor foi identificada pelo modelo de reconhecimento de expressões faciais com uma precisão de 82%, um recall de 86% e uma acurácia de 92%. O maior desafio no reconhecimento da expressão foi a deteção da face nas imagens.

This study presents an automated solution for human pose estimation and skeletal tracking in functional fitness assessments for older adults. Focusing on the Chair Sit-and-Reach exercise from the Fullerton Battery, it automates distance and angle calculations between body segments. Two Kinect-based implementations were developed: (i) MediaPipe's RGB-based 2D pose detection and (ii) PyKinect's 3D skeletal tracking with depth data. User tests showed that MediaPipe exhibited higher accuracy in distance measurements, reinforcing its potential to replace manual assessments and reduce human error.

Gesture recognition technology has emerged as a transformative solution for natural and intuitive human–computer interaction (HCI), offering touch-free operation across diverse fields such as healthcare, gaming, and smart home systems. In mobile contexts, where hygiene, convenience, and the ability to operate under resource constraints are critical, hand gesture recognition provides a compelling alternative to traditional touch based interfaces. However, implementing effective gesture recognition in real-world mobile settings involves challenges such as limited computational power, varying environmen tal conditions, and the requirement for robust offline–online data management. In this study, we introduce ThumbsUp, which is a gesture-driven system, and employ a partially systematic literature review approach (inspired by core PRISMA guidelines) to identify the key research gaps in mobile gesture recognition. By incorporating insights from deep learning–based methods (e.g., CNNs and Transformers) while focusing on low resource consumption, we leverage Google’s MediaPipe in our framework for real-time detection of 21 hand landmarks and adaptive lighting pre-processing, enabling accurate recogni tion of a “thumbs-up” gesture. The system features a secure queue-based offline–cloud synchronization model, which ensures that the captured images and metadata (encrypted with AES-GCM) remain consistent and accessible even with intermittent connectivity. Ex perimental results under dynamic lighting, distance variations, and partially cluttered environments confirm the system’s superior low-light performance and decreased resource consumption compared to baseline camera applications. Additionally, we highlight the feasibility of extending ThumbsUp to incorporate AI-driven enhancements for abrupt lighting changes and, in the future, electromyographic (EMG) signals for users with mo tor impairments. Our comprehensive evaluation demonstrates that ThumbsUp maintains robust performance on typical mobile hardware, showing resilience to unstable network conditions and minimal reliance on high-end GPUs. These findings offer new perspectives for deploying gesture-based interfaces in the broader IoT ecosystem, thus paving the way toward secure, efficient, and inclusive mobile HCI solutions.

Numa altura em que o ser humano tem a capacidade de comunicar em qualquer língua, com sistemas de tradução disponíveis a um clique de distância, as línguas gestuais permanecem excluídas. O principal objetivo deste projeto é desenvolver um sistema prático e moderno, que permita a tradução de língua gestual para língua verbal, de forma tão acessível e imediata quanto as traduções entre línguas verbais. Para tal, é proposto a utilização de modelos de Inteligência Artificial que, através da utilização de uma câmara e de uma saída ajustada ao recetor, seja um visor ou um auscultador, captam os gestos em língua gestual e traduzem para língua verbal. Assim, no processo de identificação dos elementos de comunicação, este sistema define-se como o canal, ou seja, o emissor é filmado enquanto comunica a mensagem em língua gestual, e o recetor, através de um visor ou auscultador, recebe a mensagem já traduzida em língua verbal. Para o desenvolvimento deste sistema, foram treinadas várias redes neuronais utilizando a base de dados SIGNUM, de Língua Gestual Alemã. Além disso, recorreu-se à ferramenta MediaPipe para a tarefa de pré-processamento dos dados, garantindo uma manipulação de dados de tamanho reduzido em comparação com imagens ou vídeos. Por fim, selecionou-se os modelos que obtiveram os melhores resultados, e desenvolveu-se uma aplicação que traduz língua gestual para língua verbal.

Neste trabalho, propõe-se o desenvolvimento de um sistema para a tradução em tempo real de gestos da Língua Gestual Portuguesa (LGP) para texto, com o objetivo de facilitar a comunicação entre pessoas surdas e ouvintes. O reconhecimento automático de gestos é uma área fundamental para promover a inclusão social, especialmente pela disponibilidade crescente de ferramentas tecnológicas que melhorem a acessibilidade comunicacional. A solução apresentada envolve a criação de uma aplicação móvel que reconhece em tempo real os gestos das letras da Língua Gestual Portuguesa (LGP), exibindo a tradução quase instantaneamente após o gesto ser realizado. Esta aplicação integra dois métodos principais: o primeiro utiliza o MediaPipe, onde a imagem capturada pela câmara do dispositivo é enviada para um servidor remoto. O servidor processa a imagem, deteta os pontoschave (landmarks) das mãos e utiliza um Multilayer Perceptron (MLP) para classificar as letras. O segundo método é um modelo de Rede Neuronal Convolucional (CNN) que analisa diretamente as imagens capturadas pela câmara, sendo otimizado para funcionar em dispositivos móveis através do TensorFlow Lite. A aplicação foi desenvolvida em Flutter, oferecendo uma interface intuitiva e acessível. Os testes realizados demonstraram que, com a utilização combinada dos dois modelos, ou seja, o modelo baseado no MediaPipe integrado com Multilayer Perceptron (MLP) e o modelo Rede Neuronal Convolucional (CNN), a aplicação é capaz de reconhecer gestos com boa precisão e rapidez, traduzindo gestos em tempo real de forma eficiente. A abordagem adotada permite flexibilidade na adaptação a diferentes cenários e condições de uso, sendo uma solução escalável que pode ser expandida para reconhecer outros gestos ou línguas gestuais. As implicações deste trabalho são significativas para a inclusão social, promovendo a comunicação entre diferentes grupos linguísticos e facilitando a integração das comunidades surdas na sociedade.