O Instituto Superior Técnico participa no desenvolvimento do ‘EuroLLM-22B’, um modelo de linguagem de grande dimensão (large language model, LLM) totalmente aberto, criado no âmbito de um consórcio europeu de investigação em Inteligência Artificial (IA) e apresentado oficialmente a 15 de dezembro. O projeto envolve investigadores do Técnico, integrados na ELLIS Unit Lisbon e no Instituto de Telecomunicações (IT) e tem como objetivo disponibilizar um modelo de base para aplicações de IA alinhadas com a diversidade linguística da União Europeia.
A participação do Técnico é liderada por André Martins, docente do Técnico e investigador do IT, com trabalho reconhecido internacionalmente na área do processamento de linguagem natural. Sobre o processo de desenvolvimento do modelo, o investigador e coordenador do projeto sublinha que “tem sido um caminho longo e um trabalho de equipa a vários níveis”, que envolveu “a filtragem de dados, o pré-treino, a adaptação a contextos longos e o pós-treino”.
O lançamento do ‘EuroLLM-22B’ é encarado como um momento relevante no percurso da iniciativa. “Estamos muito orgulhosos por lançar hoje o EuroLLM-22B”, afirma André Martins, acrescentando que este lançamento constitui “mais um passo importante para reforçar a soberania europeia em Inteligência Artificial”.
O modelo é disponibilizado sob uma licença totalmente aberta, permitindo a sua utilização por investigadores, instituições académicas, startups e outras organizações. Para André Martins, este princípio é central para os objetivos do projeto. “Queremos que o EuroLLM se torne um motor de inovação, permitindo que qualquer pessoa possa construir tecnologia a partir deste modelo”, refere, apontando a redução de barreiras de entrada como um fator-chave para acelerar a inovação europeia em Inteligência Artificial.
Num contexto internacional marcado pela predominância de modelos desenvolvidos por grandes empresas tecnológicas, frequentemente com acesso condicionado, o EuroLLM surge como uma alternativa europeia concebida de raiz para responder à diversidade linguística e cultural da União Europeia.
Com foco inicial na multilingualidade, o ‘EuroLLM-22B’ suporta as 24 línguas oficiais da União Europeia, bem como outras 11 línguas consideradas de relevância estratégica. O consórcio prevê a expansão futura do modelo para capacidades multimodais, incluindo fala, visão e vídeo, apoiada por um novo projeto de acesso extremo à escala da EuroHPC (European High Performance Computing Joint Undertaking), com início previsto para 2026.
Com 22 mil milhões de parâmetros, o ‘EuroLLM-22B’ é o maior modelo da família EuroLLM, depois do lançamento do ‘EuroLLM-1.7B’ e do ‘EuroLLM-9B’. O treino foi realizado de raiz no supercomputador MareNostrum 5, no Barcelona Supercomputing Center, recorrendo à infraestrutura da EuroHPC Joint Undertaking. De acordo com resultados em benchmarks públicos, o modelo apresenta um desempenho competitivo face a modelos globais de dimensão semelhante em tarefas multilingues.
O EuroLLM está disponível através da página Hugging Face.
André Martins, tem desenvolvido investigação nas áreas da aprendizagem automática e do processamento de linguagem natural, com financiamento europeu competitivo, incluindo a atribuição de uma bolsa do European Research Council (ERC), em fevereiro de 2023, para o estudo redes neuronais artificiais.
