Summer 2025

Introduction to Natural Language Processing

Wprowadzenie do przetwarzania języka naturalnego

Harmonogram

• do 26.03 - ustalenie tematu projektu
• do 23.04 - dokumentacja wstępna (element obowiązkowy dokumentacji to wstępne wyniki)
• do 28.05 - oddanie projektu

Informacje organizacyjne

• Zespoły 2-3 osobowe
• Konsultacje - środa, 18-19, 302 (prośba o wcześniejszy kontakt)
• Termin elastyczny, jeśli zdalnie.
• Pytania (element obwiązkowy każdego projektu) - Teams/mail/konsultacje

Propozycje projektów

Własne propozycje tematów mile widziane

1. Realizacja zadania (lub jego części) z SemEval 2025.
2. Idiomy w tłumaczeniu maszynowym
   • Punkt wyjściowy to publikacja Baziotis et al., 2023
   • Projekt może skupić się na wątku ewaluacji (np. LLMów) i tworzenia danych lub metodach trenowania (małych modeli - tutorial w zakładce blog)
3. Tłumczenie kontekstowe - problemy
   • Ewaluacja tłumaczenia kontekstowego (dokumenty zamiast zdań)
   • Zadanie eksploracyjne - szukanie ograniczeń obecnych modeli i metryk
4. Porównanie metod Parameter-Efficient Fine-tuning (PEFT) na wybranych zadaniach NLP
   • Wybór różnych zadań NLP (w różnym typie, np. klasyfikacja i seq2seq)
   • Porównanie kilku metod PEFT w tych zadaniach (np. korzystając z bilioteki peft lub adapters)
5. Model merging
   • Wytrenowanie kilku modeli (np. MiniBERT) do wybranych zadań
   • Porównanie kilku metod "model merging" (przykładowa lista i implementacja)

Summer 2023

Introduction to Natural Language Processing

Wprowadzenie do przetwarzania języka naturalnego

Harmonogram

• do 29.03 - ustalenie tematu projektu
• do 19.04 - dokumentacja wstępna (element obowiązkowy dokumentacji to wstępne wyniki)
• do 31.05 - oddanie projektu

Informacje organizacyjne

• Zespoły 2 osobowe (w szczególnych przypadkach 1/3 dopuszczalne)
• Konsultacje - środa, 18-19, 302 (prośba o wcześniejszy kontakt)
• Termin elastyczny, jeśli zdalnie.
• Pytania (element obwiązkowy każdego projektu) - Teams/mail/konsultacje

Propozycje projektów

Własne propozycje tematów mile widziane. Do projektów związanych z tłumaczeniem maszynowym, dostępny jest tutorial w zakładce blog (byłbym wdzięczny za feedback i zgłaszanie błędów każdego typu, literówek też).

1. Idiomy w tłumaczeniu maszynowym
   • Punkt wyjściowy to publikacja Baziotis et al., 2022
   • Tłumaczenie angielski-polski/polski-angielski
   • Projekt może się skupić na wątku ewaluacji i danych lub metodach trenowania
2. Wpływ metod przetwarzania wstępnego na adaptację domeny w tłumaczeniu maszynowym
   • Wykorzystanie gotowego modelu tłumaczenia maszynowego
   • Wybór 1-2 metod adaptacji domeny (np. "fine-tuning" lub adaptery)
   • Analiza wpływu różnych metod przetwarzania danych (np. filtrowanie w oparciu o stosunek pomiędzy długościami zdań, wykrycie języka, różnice miar/interpunkcji)
3. Dekodowanie MBR a Beam search w tłumaczeniu maszynowym
   • Analiza porównawcza dwóch typów dekodowania
   • Wykorzystanie dostępnych publicznie modeli i bibliotek
   • Można skupić się na lingwistycznych różnicach (lub technicznych jak Müller & Sennrich, ACL 2021)
4. TBA

Winter 2022/2023

Introduction to Natural Language Processing

Wprowadzenie do przetwarzania języka naturalnego

Harmonogram (wstępny)

• do 16.11 - ustalenie tematu projektu
• do 14.12 - dokumentacja wstępna (+ wstępne wyniki!)
• do 18.01 - termin oddania projektu

Informacje organizacyjne

• Zespoły 2 osobowe (w szczególnych przypadkach 1/3 dopuszczalne)
• Konsultacje - wtorek, 18-19 (prośba o wcześniejszy kontakt)
• Termin elastyczny, jeśli zdalnie.
• Pytania - mail/Teams

Propozycje projektów

Własne propozycje tematów mile widziane

1. Adaptacja domeny poprzez "pre-training" - temat zajęty
   • Przeprowadzenie (na mała skalę) eksperymentu zbliżonego do Gururangan et al., ACL 2020
   • Wybór jednego z zadań NLP, np. analiza sentymentu + kilku zbiorów podobnych na których będzie wykonywany tylko "pre-training"
   • Porównanie wyników zadania z i bez zastosowania tej metody
2. Dekodowanie MBR a Beam search w tłumaczeniu maszynowym
   • Analiza porównawcza dwóch typów dekodowania
   • Wykorzystanie dostępnych publicznie modeli i bibliotek
   • Można skupić się na lingwistycznych różnicach (lub technicznych jak Müller & Sennrich, ACL 2021)
3. Udział w jednym z zadań w ramach konkursu SemEval-2023
   • Częściowy udział (np. tylko jeden język w zadaniach wielojęzycznych) jest ok
   • Zespoły 3-osobowe są dopuszczalne bez argumentacji ;)
4. Back-translation w tłumaczeniu maszynowym - temat zajęty
   • Przeprowadzenie (na mała skalę) eksperymentu zbliżonego do Edunov et al., EMNLP 2018
   • Back-translation: 2-3 metody, jedna para języków, zbiór testowy w konkretnej domenie
   • Analiza wyników
5. Wpływ metod przetwarzania wstępnego na adaptację domeny w tłumaczeniu maszynowym
   • Wykorzystanie gotowego modelu tłumaczenia maszynowego
   • Wybór 1-2 metod adaptacji domeny (np. "fine-tuning" lub adaptery)
   • Analiza wpływu różnych metod przetwarzania danych (np. filtrowanie w oparciu o stosunek pomiędzy długościami zdań, wykrycie języka, różnice numeryczne) na wyniki
6. TBA

Summer 2022

Introduction to Natural Language Processing

Wprowadzenie do przetwarzania języka naturalnego

Harmonogram (wstępny)

• do 23.03 - ustalenie tematu projektu
• do 13.04 - dokumentacja wstępna
• do 1.06 - termin wysłania projektu (prezentacja do końca semestru, edit: jeśli potrzeba oceny do zwolnienia z kolokwium - to najpóźniej dzień przed kolokwium)

Informacje organizacyjne

• Zespoły 2 osobowe (w szczególnych przypadkach 1/3 dopuszczalne)
• Konsultacje - środa, 18-19 (prośba o wcześniejszy kontakt)
• Obecnie zdalnie, więc termin elastyczny
• Pytania - mail/Teams

Propozycje projektów

Własne propozycje tematów mile widziane

1. Transliteracja w tłumaczeniu maszynowym - temat zajęty
   • Wybór pary języków z różnym alfabetem (np. łaciński - cyrlica)
   • Wytrenowanie modeli tłumaczenia (bazowgo i poddanego transliteracji)
   • Analiza wyników
2. Zadanie rozpoznawania koreferencji - temat zajęty
   • Problem wielojęzyczny - można ograniczyć się do podzbioru
   • Może być większy zespół pod warunkiem pełnego udziału
   • Szczegóły: CRAC'22 Shared Task
3. Porównanie modeli sekwencyjnych do zadania tokenizacji i segmentacji - temat zajęty
   • Wybór zestawu rozwiązań i zbiórów danych w oparciu o literaturę
   • Test dla min. 2 różnych języków
   • Analiza wyników
4. Adaptery w NLP - temat zajęty
   • Wybór zadania/zadań NLP z odpowiednimi schematami (np. problem wielojęzyczny, adaptacja domeny)
   • Porównanie, analiza dotrenowania modelu językowego (np. mBERT) do konkretnego zadania z Adapterami i bez
5. Porównanie różnych typów tagowania w zadaniu rozpoznawania jednostek nazewniczych - temat zajęty
   • Wybór zbiorów zadań (2 różne języki)
   • Wybór kilku sposobów adnotacji (IO/BIO/...) oraz architektury
   • Porównianie rozwiązań
6. Back-translation w tłumaczeniu maszynowym - temat zajęty
   • Przeprowadzenie (na mała skalę) eksperymentu zbliżonego do Edunov et al., EMNLP 2018
   • Back-translation: 2-3 metody, jedna para języków, zbiór testowy w konkretnej domenie
   • Analiza wyników
7. Shared Task w ramach jednej z konferencji *ACL'22
8. TBA