Estudante da FCUP cria app para identificar espécies de borboletas

Aplicação Lepilens foi desenvolvida no âmbito da UC de Projeto da L:CC

O estudante da Faculdade de Ciências da Universidade do Porto (FCUP), Tomás Mamede, desenvolveu uma aplicação que utiliza a inteligência artificial, particularmente Deep Learning, para identificar as espécies de borboletas representadas em fotografias obtidas pelos utilizadores.

Para além de ajudar os utilizadores a identificar as borboletas que registam com as suas fotografias, a Lepilens tem também como objetivo ajudar a mapear a distribuição destes insetos no território nacional, propondo-se assim como uma plataforma de Citizen Science.

A aplicação Lepilens foi desenvolvida no âmbito da Unidade Curricular (UC) de Projeto do 3º ano da Licenciatura em Ciência de Computadores, sob orientação dos docentes Luís Lopes e Eduardo Marques.

Na página do Departamento de Ciência de Computadores, os autores explicam que, apesar de já existirem aplicações capazes de efetuar a classificação taxonómica, este trabalho é mais uma prova de conceito que mostra claramente o poder das redes neuronais, neste caso, para a classificação de imagens". 

"As borboletas, à partida, não são um objeto de estudo fácil. Apesar de muitas espécies terem uma morfologia diferente, existem também outras que diferem entre si em detalhes muito subtis. Conseguir que o modelo capture esses detalhes e distinguir essas espécies é um dos maiores desafios na classificação", acrescentam.
 
Como foi criada a Lepilens 

Os autores começaram por construir um conjunto de dados (data set) que incluiu todas as borboletas que existem em Portugal (documentadas no GBIF (Global Biodiversity Information Facility). Depois, treinaram uma rede neuronal - a CNN (Convolutional Neural Network) para efetuar de forma automática a classificação taxonómica de imagens destes insetos, tendo analisado em seguida a sua performance. Ao todo, são 22 mil imagens num modelo que tem uma precisão média de 90%. 

O modelo extraído da rede neuronal foi depois incorporado numa aplicação Web que permite aos utilizadores submeter imagens que são posteriormente classificadas.

Apesar da UC ter terminado em julho, a colaboração entre os docentes e o estudante manteve-se.

“Havia muito que podíamos fazer com o projeto e eu sentia vontade de continuar. Em junho do ano passado, quando venci o WWDC Swift Student Challenge da Apple, parte do prémio foi a possibilidade de fazer parte do Apple Developer Program, que permite colocar aplicações na App Store. O projeto forneceu-me a ideia que precisava para fazer uma aplicação que pudesse colocar na App Store", refere Tomás Mamede, que está a frequentar o mestrado em Ciência de Computadores na FCUP. 

E foi assim que tudo começou. Este verão, Tomás lançou-se no desenvolvimento da aplicação para iOS, recentemente disponível para download gratuito, juntamente com uma versão Web, que pode ser utilizada em qualquer dispositivo.

Apesar de, até ao momento, a versão Web ser apenas capaz de realizar classificação de imagens, na versão iOS, a equipa foi mais longe: "tivemos a oportunidade de pôr no smartphone do utilizador mais do que uma simples ferramenta de classificação. A aplicação iOS tem uma interface bonita e elegante, desenvolvida com cuidado e pormenor que inclui mais funcionalidades", explica o estudante da FCUP. 

GPS na app para criar um "autêntico mapa de explorador"

"Permite ao utilizador criar um verdadeiro catálogo de observações com vários detalhes, como por exemplo, a localização, e utilizar o GPS para criar um autêntico mapa de explorador.”, detalha. Tanto a versão iOS como a versão Web da aplicação utilizam o mesmo modelo de Machine Learning.

Na sua versão atual, a identificação está restrita apenas às espécies de borboletas diurnas presentes em Portugal, embora algumas destas mesmas espécies possam ser encontradas por toda a Europa.

Segundo a equipa do DCC, os próximos passos neste trabalho poderão passar por estender o modelo para contemplar também mariposas (espécies nocturnas) e usar redes neuronais desenvolvidas de raiz e optimizadas para treinar o “data set”.


© DR





Divulgue os seus eventos e projetos | comunica@fc.up.pt 



Renata Silva. SICC. 02-12-2020