High-Performance Computing for Artificial Intelligence

ogólnouniwersyteckie

Przydatna będzie podstawowa znajomość sztucznej inteligencji oraz informatyki.

w sali

Kurs ten poświęcony jest wykorzystaniu komputerów o dużej mocy (HPC) w aplikacjach sztucznej inteligencji (AI). Modele AI, szczególnie duże modele językowe (LLM), podczas treningu wymagają ogromnych zasobów obliczeniowych, jednocześnie HPC zapewnia niezbędną moc obliczeniową. Uczestnicy kursu nauczą się, jak obliczenia równoległe, klastry obliczeniowe oraz zasoby w chmurze mogą przyspieszyć trening modeli AI i poprawić ich wydajność. Kurs łączy teorię z praktycznymi ćwiczeniami w postaci warsztatów (w formie demonstracjami).

Sztuczna inteligencja (AI) stała się powszechnie używanym narzędziem w pracy naukowej. AI nie tylko umożliwia zaawansowaną analizę danych i wizualizację, ale także może zastąpić tradycyjne symulacje numeryczne lub przyspieszyć je, poprzez przewidywanie złożonych obliczeniowo zadań jak obliczanie oddziaływań pomiędzy atomami. Dodatkowo, AI pozwala na szybkie przeszukiwanie baz danych publikacji naukowych i generowanie streszczeń artykułów. Coraz częściej jest także wykorzystywana do pełnego pisania prac naukowych. Jednak rozwój bardziej zaawansowanych modeli AI wymaga przetwarzania ogromnych ilości danych oraz kosztownego i czasochłonnego procesu trenowania modeli AI. Jest to szczególnie widoczne w przypadku dużych modeli językowych (LLM), gdzie proces treningu może trwać tygodnie na tysiącach kart graficznych (GPU). Praca z tak skomplikowanymi modelami wymaga wykorzystania dużej mocy obliczeniowej: klastrów obliczeniowych lub chmury, co jest domeną komputerów dużej mocy (HPC).

HPC to dziedzina informatyki poświęcona rozwiązywaniu najbardziej wymagających problemów obliczeniowych w nauce. Do najpopularniejszych zastosowań należą: (i) przewidywanie właściwości półprzewodników za pomocą obliczeń mechaniki kwantowej z wykorzystaniem teorii funkcjonałów gęstości (DFT), (ii) projektowanie leków za pomocą symulacji dynamiki molekularnej oraz (iii) numeryczne prognozowanie pogody. Takie obliczenia wymagają setek, a nawet tysięcy procesorów. Kluczowym elementem HPC są obliczenia równoległe. Umożliwiają one przyspieszenie obliczeń dzięki wykorzystaniu wielu procesorów (CPU) lub kart graficznych (GPU). Pomagają także zmniejszyć zużycie pamięć RAM pojedynczego rdzenia obliczeniowego. Przez wiele lat obliczenia równoległe były niezbędne dla obliczeń naukowych, obecnie stanowią kluczową technologię także w domenie AI. Z tego powodu techniki, metodologie i algorytmy opracowane do zadań HPC są z powodzeniem stosowane w treningu modeli AI.

Wykład skupi się na trzech głównych zagadnieniach:

Czym jest HPC, jak pracować na klastrach obliczeniowych i jak obliczenia równoległe mogą być wykorzystywane w badaniach naukowych?

Jak przyspieszyć wykonanie kodu w języku Python, ze szczególnym uwzględnieniem operacji matematycznych, oraz jak równolegle realizować te operacje lub wykorzystać akceleratory obliczeniowe (takie jak GPU).

Jak poprawić efektywność treningu modeli AI i zastosować techniki programowania równoległego do treningu modeli AI.

Zajęcia dedykowane są studentom zainteresowanym sztuczną inteligencją i komputerami dużej mocy. Wiedza techniczna nie jest wymagana, ale podstawowe zrozumienie zagadnień z zakresu informatyki i sztucznej inteligencji będzie pomocne. Podczas zajęć uczestnicy zostaną wprowadzeni w podstawową terminologię niezbędną do zrozumienia tematyki wykładu.

Sesja odbędzie się w formie warsztatów z demonstracjami i ćwiczeniami praktycznymi dla chętnych.

Materiały i kursy dostępne online.

W1 - Zna podstawową terminologię z zakresu informatyki i uczenia maszynowego oraz rozumie jej źródła i zastosowania w powiązanych dyscyplinach naukowych - K_W02

W2 - Rozumie rolę komputerów dużej mocy w zastosowaniach sztucznej inteligencji - K_W03

W3 - Ma podstawową wiedzę na temat miejsca analizy szeregów czasowych i wykrywania anomalii w systemie nauk oraz ich powiązań przedmiotowych i metodologicznych z innymi dziedzinami naukowymi - K_W04

W4 - Zna narzędzie HPC stosowanie przez AI oraz rozumie mocne i słabe strony tych narzędzi - K_W05

W5 - Wie czym jest język programowania i jak może być używany - K_W07

U1 - Potrafi używać podstawowej terminologii z zakresu HPC i AI - K_U11

U2 - Potrafi napisać krótki raport badawczy - K_U09

U3 - Potrafi korzystać z narzędzi telekomunikacyjnych do efektywnej współpracy oraz potrafi planować i realizować symulacje numeryczne w wybranym obszarze zastosowań analizy szeregów czasowych i wykrywania anomalii, analizować ich wyniki i wyciągać wnioski - K_U13

U4 - .Zna zasady bezpieczeństwa i higieny pracy przy pracy z komputerem oraz potrafi przeprowadzić podstawową analizę ekonomiczną wykonanych obliczeń - K_U14

U5 - Potrafi napisać prosty skrypt kolejowy do trenowania modeli AI - K_U11

U6 - Potrafi ocenić efektywność treningu modeli AI - K_U10

K1 - Samodzielnie planuje w sposób systematyczny i terminowy realizację celów badawczych, podejmując trudne decyzje, gdy jest to konieczne - K_K08, K_K09

K2 - Potrafi uczestniczyć w merytorycznych dyskusjach, wypracować kompromisy i określić wspólne stanowisko - K_K03, K_K05

K3 - Potrafi prowadzić merytoryczną dyskusję bez atakowania innych uczestników dyskusji - K_K10

Efekty kształcenia K1-K3 są oceniane na bieżąco podczas zajęć.

Efekty kształcenia U1-U6 są oceniane na bieżąco podczas zajęć.

Efekty kształcenia W1-W5 są oceniane w teście, będącego podstawą wystawienia oceny końcowej

Test pojedynczego wyboru.

Nie dotyczy.