Terá lugar, no dia 22 de junho, pelas 14h30, o seminário “Some recent work on Convolutional Neural Networks (CNNs) for text classification”, por Byron Wallace (University of Texas at Austin).
A classificação de texto é uma tarefa fundamental em processamento de linguagem natural (PLN). Os modelos neuronais modernos (geralmente pré-treinados) que exploram “word embeddings” alcançaram recentemente resultados impressionantes nesta tarefa. Em particular, as Redes Neurais Convolucionais feed-forward (CNN) têm surgido como uma classe relativamente simples mas poderosa de modelos de classificação de texto, superando muitas vezes modelos neurais recorrentes mais complexos, como as redes Long Short Term Memory (LSTM). Nesta apresentação, será feita a revisão das arquiteturas de CNN para processamento de texto e discutido o trade-offs no desenho do modelo e hiper-parâmetros. Serão apresentadas novas variantes de CNN, incluindo uma arquitetura que explora vários conjuntos de embeddings e um modelo que tira partido da supervisão “rationale-level”, i.e., por etiquetas nas frases com a sua relevância para a tarefa de classificação em curso. Por fim, será apresentado trabalho recente sobre abordagens de “aprendizagem activa” para CNN que visam induzir rapidamente embeddings discriminativos com o menor número de etiquetas possível. Serão apresentados resultados relativos a várias tarefas de classificação de texto que compreendem desde a deteção de ironia verbal à classificação de textos biomédicos.
