Unicamp Diretoria Acadêmica

IA024 - Redes Neurais Profundas para Processamento de Linguagem Natural - 2S/2024 Imprimir

Pós-Graduação

Informações da disciplina

Ementa:

Curso de redes neurais aplicado ao Processamento de Linguagem Natural (PLN). Recentemente diversas arquiteturas foram propostas para o processamento de linguagem natural, atingindo o estado-da-arte em sistemas de tradução, sistemas de perguntas e respostas, entre outras tarefas de linguagem natural. Conceitos como word embeddings, conversores de sequência seq2seq, modelos de atenção e recentemente transformers e BERT são avanços consolidados na área de PLN. Este curso aborda os principais modelos de redes neurais utilizados em PLN. O curso utilizará programação avançada Python/NumPy utilizando o pacote PyTorch. É recomendada a experiência prévia de programação matricial como Python/Numpy, MATLAB ou R e é desejável ter conhecimentos básicos de Machine Learning.

Bibliografia:

  1. Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems. 2017.
  2. ​Devlin, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language understanding." arXiv preprint arXiv:1810.04805 (2018).
  3. LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." nature 521.7553 (2015): 436.
  4. Mikolov, Tomas, et al. "Distributed Representations of Words and Phrases and their Compositionality."
  5. Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "Neural Machine Translation by Jointly Learning to Align and Translate." (2019).

Ano de Catálogo: 2024

Créditos: 4

Turma: A Vagas: 25

Número mínimo de alunos: 5

Número de alunos matriculados: 17

Idioma de oferecimento: Português

Tipo Oferecimento: Regular

Local Oferecimento:

Horários/Salas:

  • Quinta 08:00 - 12:00 PE26

Docentes:

  • Jayr Alencar Pereira
  • Roberto de Alencar Lotufo

Reservas:

Não possui reservas.

Horários

Hora Segunda Terça Quarta Quinta Sexta Sábado
07:00
08:00 A - PE26
09:00 A - PE26
10:00 A - PE26
11:00 A - PE26
12:00
13:00
14:00
15:00
16:00
17:00
18:00
19:00
20:00
21:00
22:00
23:00

Compartilhar: