Meeting nr 1

Termin spotkania 19 marca

Tematy spotkania:

1. Wybór technologii potrzebnych do działania systemu w architekturze lambda.
2. Problemy, które chcielibyśmy rozwiązać

Podczas spotkania

Batch layer – to jest warstwa, która będzie przetrzymywać wszystkie historyczne dane, odatkowo może być odpowiedzialna za przetważanie danych OLAP. Może obsługiwać analize predefiniowanych danych jak i analizować je na poczekaniu.

Speed layer – jest to warstwa w której przetwarzamy dane w czasie rzeczywistym (w momencie kiedy dane zostaną dostarczone do systemu). Tak samo jak poprzednia warstwa przeprowadza ona analizę danych. Obliczenia przeprowadzone bardzo szybko z małym opóźnieniem.

Serve layer – tutaj są zapisywane dane z warstwy wsadowej

Problemy które chcemy rozwiązać to:

1. NoSQL
2. ACID (Atomicity Consistency Isolation Durability)

Zastosowanie bazy danych NewSQL pozwala na zrealizowanie 2 powyższych reguł (ACID I NoSQL) Dodatkowo, aby przetwarzać dane za pomocą SQL-a na klastrze Sparka można wykorzystać Spark SQL.

W przydadku Hadoop-a nie zastosujemy technologii Hbase z powodu niepełnego pokrycia metody ACID.

3. Complexity

Założenia po spotkaniu: Potrzebne maszyny do wygenerowania

Porównania Spark + Hadoop / Storm Zastosowanie bazy NoSQL – pozwoli na

Pytania po spotkaniu: Jaki mamy mieć generator danych?

Podział prac na dzień dzisiejszy: Dawid – mam obsługiwać data source Bartek – będzie obsługiwał Sparca Darek – NewSQL