IA024 - Redes Neurais Profundas para Processamento de Linguagem Natural - 2S/2022 Imprimir

Ementa:

Curso de redes neurais aplicado ao Processamento de Linguagem Natural (PLN). Recentemente diversas arquiteturas foram propostas para o processamento de linguagem natural, atingindo o estado-da-arte em sistemas de tradução, sistemas de perguntas e respostas, entre outras tarefas de linguagem natural. Conceitos como word embeddings, conversores de sequência seq2seq, modelos de atenção e recentemente transformers e BERT são avanços consolidados na área de PLN. Este curso aborda os principais modelos de redes neurais utilizados em PLN. O curso utilizará programação avançada Python/NumPy utilizando o pacote PyTorch. É recomendada a experiência prévia de programação matricial como Python/Numpy, MATLAB ou R e é desejável ter conhecimentos básicos de Machine Learning.

Bibliografia:

1. Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems. 2017.
2. ​Devlin, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language understanding." arXiv preprint arXiv:1810.04805 (2018).
3. LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." nature 521.7553 (2015): 436.
4. Mikolov, Tomas, et al. "Distributed Representations of Words and Phrases and their Compositionality."
5. Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "Neural Machine Translation by Jointly Learning to Align and Translate." (2019).

Ano de Catálogo: 2022

Créditos: 4