← Voltar ao módulo
Disciplina Módulo 3 · Modelos Preditivos

Processamento de Linguagem Natural (Transformer + LLM)

Carga horária
30h
Professor Prof. Dr. Filipe Nunes Ribeiro Doutor em Ciência da Computação pela UFMG, com pesquisa no Max Planck Institute e atuação em computação social e mineração de dados.
Ementa

Introdução ao Processamento de Linguagem Natural (PLN). Técnicas de pré-processamento de texto. Fundamentos das técnicas de representação semântica e vetorial de texto. Noções de arquiteturas de aprendizado profundo para PLN: Modelos sequenciais, Transformers e grandes modelos de linguagem (LLMs).

Conteúdo
  • Introdução ao Processamento de Linguagem Natural (PLN)
  • Técnicas de pré-processamento de texto
  • Fundamentos das técnicas de representação semântica e vetorial de texto
  • Noções de arquiteturas de aprendizado profundo para PLN: Modelos sequenciais, Transformers e grandes modelos de linguagem (LLMs)
Bibliografia Básica
  • Manning, C. D.; Schütze, H. Foundations of Statistical Natural Language Processing. MIT Press, 1999.
  • Rothman, D. Transformers for Natural Language Processing: Build Innovative Deep Neural Network Architectures for NLP with Python, PyTorch, TensorFlow, BERT, ROBERTa, and More. 1st ed., Packt Publishing, 2021.
  • Tunstall, L.; Von Werra, L.; Wolf, T. Natural Language Processing with Transformers, Revised Edition: Building Language Applications With Hugging Face. O'Reilly Media, 2022.
  • Raschka, S. Build a Large Language Model. Independently published, 2023.
  • Alammar, Jay, and Maarten Grootendorst. Hands-On Large Language Models. O'Reilly Media, Inc., 2024.
Bibliografia Complementar
  • Jurafsky, D.; Martin, J. H. Speech and Language Processing. 3rd ed., Prentice Hall, 2021.
WhatsApp