Publicação
Leap motion and artificial intelligence for surgical navigation: automatic hand gestures recognition
| Resumo: | Globalmente, 310 milhões de cirurgias são realizadas a cada ano e existe uma probabilidade de 2% a 5% de infeções do local cirúrgico. Problemas relacionados com a esterilização de equipamentos são uma das razões. Estas infeções impactam negativamente a saúde física e mental do paciente comprometendo a sua qualidade de vida. As cirurgias assistidas por computador estão a ajudar os cirurgiões a realizar operações mais seguras e a permitir aos pacientes menos tempo de recuperação. No entanto, este meio de interação geralmente depende de dispositivos de contato físico, como rato e teclado, que expõem a sala de cirúrgica a condições assépticas. O Leap Motion ultrapassa o problema dos dispositivos físicos uma vez que não precisa de nenhum tipo de interação física. Esta dissertação tem como objetivo conceber, desenvolver e validar uma abordagem de interação homem-computador intuitiva e sem contacto, baseada no reconhecimento automático de gestos manuais através do Leap Motion, seguindo uma conceção centrado no utilizador. Para tal, foi primeiramente realizado um protocolo junto dos utilizadores finais para determinar que gestos eram mais intuitivos. Posteriormente, foram criados dois grandes datasets (um de imagens da mão e um com características da mão) para alimentar modelos de inteligência artificial que pudessem reconhecer os gestos manuais de qualquer pessoa. O melhor modelo desenvolvido, com 96.25% de precisão nos dados de teste, foi baseado no algoritmo Support Vector Machine e foi, de seguida, integrado na ferramenta de reconhecimento de gestos manuais que através das previsões do modelo, executa a respetiva ação no ecrã, removendo a necessidade de periféricos com contacto físico. A partir de uma validação preliminar realizada junto de voluntários da Universidade do Minho e uma validação clínica realizada junto de cirurgiões do hospital Trofa Saúde Braga Centro, verificou-se que os utilizadores demoram mais tempo a realizar o mesmo conjunto de tarefas com a ferramenta de deteção de gestos manuais do que com o uso tradicional do rato. Contudo, foi possível observar que há uma curva de aprendizagem da ferramenta e que estes tempos diminuem com a experiência. Por fim, o System Usability Scale, que é um teste padronizado de avaliação de usabilidade, revelou que a aplicação desenvolvida atinge um resultado de 76.67 ± 9.86, porém há uma perceção de usabilidade maior na validação preliminar do que na validação clínica (67.5 ± 6.37). Através de uma última questão aberta pôde-se ainda perceber que a sensibilidade do cursor é o que precisa de mais atenção e constitui o ponto principal do trabalho futuro, juntamente com melhorias na interface gráfica. |
|---|---|
| Autores principais: | Magalhães, Bruno Miguel Fernandes |
| Assunto: | Cirurgia assistida por computador Inteligência Artificial Interação humano-computador Leap motion Reconhecimento de gestos manuais Artificial Intelligence Computer-assisted surgery Hand gestures recognition Human-computer interaction Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática |
| Ano: | 2023 |
| País: | Portugal |
| Tipo de documento: | dissertação de mestrado |
| Tipo de acesso: | acesso aberto |
| Instituição associada: | Universidade do Minho |
| Idioma: | inglês |
| Origem: | RepositóriUM - Universidade do Minho |
| Resumo: | Globalmente, 310 milhões de cirurgias são realizadas a cada ano e existe uma probabilidade de 2% a 5% de infeções do local cirúrgico. Problemas relacionados com a esterilização de equipamentos são uma das razões. Estas infeções impactam negativamente a saúde física e mental do paciente comprometendo a sua qualidade de vida. As cirurgias assistidas por computador estão a ajudar os cirurgiões a realizar operações mais seguras e a permitir aos pacientes menos tempo de recuperação. No entanto, este meio de interação geralmente depende de dispositivos de contato físico, como rato e teclado, que expõem a sala de cirúrgica a condições assépticas. O Leap Motion ultrapassa o problema dos dispositivos físicos uma vez que não precisa de nenhum tipo de interação física. Esta dissertação tem como objetivo conceber, desenvolver e validar uma abordagem de interação homem-computador intuitiva e sem contacto, baseada no reconhecimento automático de gestos manuais através do Leap Motion, seguindo uma conceção centrado no utilizador. Para tal, foi primeiramente realizado um protocolo junto dos utilizadores finais para determinar que gestos eram mais intuitivos. Posteriormente, foram criados dois grandes datasets (um de imagens da mão e um com características da mão) para alimentar modelos de inteligência artificial que pudessem reconhecer os gestos manuais de qualquer pessoa. O melhor modelo desenvolvido, com 96.25% de precisão nos dados de teste, foi baseado no algoritmo Support Vector Machine e foi, de seguida, integrado na ferramenta de reconhecimento de gestos manuais que através das previsões do modelo, executa a respetiva ação no ecrã, removendo a necessidade de periféricos com contacto físico. A partir de uma validação preliminar realizada junto de voluntários da Universidade do Minho e uma validação clínica realizada junto de cirurgiões do hospital Trofa Saúde Braga Centro, verificou-se que os utilizadores demoram mais tempo a realizar o mesmo conjunto de tarefas com a ferramenta de deteção de gestos manuais do que com o uso tradicional do rato. Contudo, foi possível observar que há uma curva de aprendizagem da ferramenta e que estes tempos diminuem com a experiência. Por fim, o System Usability Scale, que é um teste padronizado de avaliação de usabilidade, revelou que a aplicação desenvolvida atinge um resultado de 76.67 ± 9.86, porém há uma perceção de usabilidade maior na validação preliminar do que na validação clínica (67.5 ± 6.37). Através de uma última questão aberta pôde-se ainda perceber que a sensibilidade do cursor é o que precisa de mais atenção e constitui o ponto principal do trabalho futuro, juntamente com melhorias na interface gráfica. |
|---|
Atividades financiadas
Não foram encontrados projetos financiados.