Big Data Developer @ Connectis_
- Warszawa, mazowieckie
- Stała
- Pełny etat
- Minimum 6 lat doświadczenia w pracy z platformami Big Data oraz zaawansowanej obróbce i analizie bardzo dużych zbiorów danych.
- Praktyki w korzystaniu z silników i narzędzi przetwarzania: Hive (External Tables, Metastore, HiveServer2), Spark oraz Python.
- Bardzo dobrej znajomości DML oraz stosowania partycjonowania w pracy z ogromnymi zbiorami danych.
- Doświadczenie w zarządzaniu i optymalizacji przechowywania danych w środowiskach HDFS i VAST.
- Znajomości formatów danych: Avro, ORC, Parquet.
- Znajomości formatów tabel: Delta, Iceberg.
- Otwartość na pracę 100% zdalną.
- Język angielski - C1.
- Start: ASAP.
- Znajomość Starburst Databricks.
- Uczestnictwo w spotkaniach integracyjnych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
- Wsparcie dedykowanego opiekuna Connectis, który zawsze jest dostępny, by pomóc Ci w sprawach związanych z projektem.
- Rozwój kariery i długofalową współpracę w firmie o ugruntowanej pozycji na rynku.
- 5000 PLN za polecenie znajomego do naszych projektów.
- Dostęp do najnowszych technologii i narzędzi pracy.
- Szybki i zdalny proces.
12257/PZ ,[Projektowanie procesów obsługujących bardzo duże zbiory danych, w tym dzielenie danych na mniejsze fragmenty (chunking), konwersję do otwartych formatów oraz ładowanie danych do Hive z zachowaniem wydajności i integralności., Migracja danych z formatu SAS SPDE w Hadoop do formatów otwartych (ORC/Parquet) oraz ich przeniesienie do środowiska VAST., Współpraca z globalnymi zespołami klienta, raportowanie postępów i rozwiązywanie problemów związanych z dużą skalą danych., Przygotowanie danych do udostępnienia poprzez Hive, w tym dla konsumentów korzystających z narzędzi Altair i Python., Optymalizacja i automatyzacja procesów ETL/ELT w środowisku Big Data., ] Requirements: Python, Spark, Hive, DML
No Fluff Jobs