Uniwersytet Warszawski, Wydział Chemii - Centralny System Uwierzytelniania
Strona główna

Elementy przetwarzania wsadowego zbiorów BIG DATA

Informacje ogólne

Kod przedmiotu: 2700-M-ZBD-D2EPWZ
Kod Erasmus / ISCED: 15.1 Kod klasyfikacyjny przedmiotu składa się z trzech do pięciu cyfr, przy czym trzy pierwsze oznaczają klasyfikację dziedziny wg. Listy kodów dziedzin obowiązującej w programie Socrates/Erasmus, czwarta (dotąd na ogół 0) – ewentualne uszczegółowienie informacji o dyscyplinie, piąta – stopień zaawansowania przedmiotu ustalony na podstawie roku studiów, dla którego przedmiot jest przeznaczony. / (0321) Dziennikarstwo Kod ISCED - Międzynarodowa Standardowa Klasyfikacja Kształcenia (International Standard Classification of Education) została opracowana przez UNESCO.
Nazwa przedmiotu: Elementy przetwarzania wsadowego zbiorów BIG DATA
Jednostka: Wydział Dziennikarstwa, Informacji i Bibliologii
Grupy: BD-DZIENNE II STOPNIA - semestr 2 rok 1
Punkty ECTS i inne: 3.00 Podstawowe informacje o zasadach przyporządkowania punktów ECTS:
  • roczny wymiar godzinowy nakładu pracy studenta konieczny do osiągnięcia zakładanych efektów uczenia się dla danego etapu studiów wynosi 1500-1800 h, co odpowiada 60 ECTS;
  • tygodniowy wymiar godzinowy nakładu pracy studenta wynosi 45 h;
  • 1 punkt ECTS odpowiada 25-30 godzinom pracy studenta potrzebnej do osiągnięcia zakładanych efektów uczenia się;
  • tygodniowy nakład pracy studenta konieczny do osiągnięcia zakładanych efektów uczenia się pozwala uzyskać 1,5 ECTS;
  • nakład pracy potrzebny do zaliczenia przedmiotu, któremu przypisano 3 ECTS, stanowi 10% semestralnego obciążenia studenta.
Język prowadzenia: polski
Rodzaj przedmiotu:

obowiązkowe
Tryb prowadzenia:

w sali
Skrócony opis:

Przetwarzanie dużych zbiorów danych w praktyce.
Pełny opis:

Laboratorium, obejmuje zagadnienia praktycznego przetwarzania dużych zbiorów danych, w tym:

- wsadowe przetwarzanie danych z wykorzystaniem systemu plików, brokera informacji i baz danych,

- problematykę replikacji, podziału na partycje, transakcje i przetwarzanie strumieniowe,

- rozproszone systemy plikowe i baz danych,

- przechowywanie, kolekcjonowanie i kodowanie danych wraz z realizacją ich przepływu,

- wsadową konwersję różnych formatów danych wejściowych na postać znormalizowaną, będącą surowcem dla procesów rafinacji danych.
Literatura:

• Banachowski L., Diks K., Rytter W., Wydawnictwa Naukowo-Techniczne, Algorytmy i struktury danych, Warszawa 2018.

• Beynon-Davies P., Systemy baz danych, Warszawa 2003.

• Harrison G., Pilch P., Grupa Wydawnicza Helion, NoSQL, NewSQL i BigData: bazy danych następnej generacji, Gliwice 2019.

• Kleppmann M., Walczak T., Grupa Wydawnicza Helion, Przetwarzanie danych w dużej skali: niezawodność, skalowalność i łatwość konsekwencji systemów, Gliwice 2018.

• Lutz M., Meryk R., Python: wprowadzenie, Gliwice 2011.

• McKinney W., Matuk K., Grupa Wydawnicza Helion, Python w analizie danych: przetwarzanie danych za pomocą pakietów Pandas i NumPy oraz środowiska IPython, Gliwice 2018.

• Ullman J.D., Widom J., Meryk R., Podstawowy kurs systemów baz danych, Gliwice 2011.
Efekty uczenia się:

Wiedza:

Posiada wiedzę w zakresie wsadowego przetwarzania dużych zbiorów danych. Zna ograniczenia w obszarach przetwarzania dużych zbiorów danych. Posiada wiedzę na temat rozproszonych systemów plików i baz danych. Wie na czym polega konwersja różnych postaci danych cyfrowych.

Umiejętności:

Potrafi opracować mechanizm wsadowego przetwarzania danych.

Potrafi wykorzystać potencjał rozproszonego systemu plików, brokera informacji i bazy danych.

Potrafi wykonać konwersję pomiędzy różnymi formatami danych.

Inne kompetencje:

Absolwent posiada kompetencje i praktyczne umiejętności z zakresu przetwarzania dużych zbiorów danych.
Metody i kryteria oceniania:

Zadania zlecone przez prowadzącego.

Aktywność na zajęciach.

Zajęcia w cyklu "Semestr zimowy 2023/24" (zakończony)

Okres: 2023-10-01 - 2024-01-28
Wybrany podział planu:
Przejdź do planu
Typ zajęć:
Laboratorium, 15 godzin więcej informacji
Koordynatorzy: Wiktor Sokolik
Prowadzący grup: Wiktor Sokolik
Lista studentów: (nie masz dostępu)
Zaliczenie: Przedmiot - Zaliczenie na ocenę
Laboratorium - Zaliczenie na ocenę

Zajęcia w cyklu "Semestr letni 2023/24" (zakończony)

Okres: 2024-02-19 - 2024-06-16
Wybrany podział planu:
Przejdź do planu
Typ zajęć:
Laboratorium, 15 godzin więcej informacji
Koordynatorzy: Wiktor Sokolik
Prowadzący grup: Wiktor Sokolik
Lista studentów: (nie masz dostępu)
Zaliczenie: Przedmiot - Zaliczenie na ocenę
Laboratorium - Zaliczenie na ocenę

Zajęcia w cyklu "Semestr letni 2024/25" (jeszcze nie rozpoczęty)

Okres: 2025-02-17 - 2025-06-08
Wybrany podział planu:
Przejdź do planu
Typ zajęć:
Laboratorium, 15 godzin więcej informacji
Koordynatorzy: Tomasz Stecko
Prowadzący grup: Tomasz Stecko
Lista studentów: (nie masz dostępu)
Zaliczenie: Przedmiot - Zaliczenie na ocenę
Laboratorium - Zaliczenie na ocenę
Opisy przedmiotów w USOS i USOSweb są chronione prawem autorskim.
Właścicielem praw autorskich jest Uniwersytet Warszawski, Wydział Chemii.
ul. Pasteura 1, 02-093 tel: +48 22 55 26 230 http://www.chem.uw.edu.pl/ kontakt deklaracja dostępności mapa serwisu USOSweb 7.1.1.0-3 (2024-12-18)