Customer Data Platforms Data Engineer
... + years of experience as a Data Engineer 5+ years of expertise in implementing and optimizing Customer Data Platforms 5+ years of exposure ...
Data Engineer
Місто :
, Kyiv,
Компанія :
Kaczmarski Group
Зарплата :
Знайдено :
12 днів тому
Опис
Kaczmarski Group jest polską spółką, która pod ponad 30 lat działa na rynku szeroko-pojętych finansów. Swoją główną siedzibę mamy we Wrocławiu ale na co dzień preferujemy zdalny tryb pracy. Miło jest nam spotkać się raz, czasami dwa razy w miesiącu w biurze, aby zespołowo podziałać przy planowaniu naszych dalszych działań. Cenimy sobie tą możliwość, ponieważ także jest to czas na wymianę doświadczeń, a mamy ich sporo! Jesteśmy wprawionym w boju zespołem, którego członkowie mają co najmniej 10 lat doświadczenia zawodowego. Możemy powiedzieć, że wiele się można od nas nauczyć, jednak chętnie dowiemy się czegoś nowego od Ciebie. Jeżeli nie wystraszyliśmy Cię powyższym opisem i jesteś chętny/a aby podzielić się z nami swoimi doświadczeniami, to aplikuj śmiało. Brakuje nam jeszcze jednego człowieka do ekipy szczęśliwej siódemki Narzędzia, z których korzystamy: Apache Ariflow 2 Apache Spark 3 (YARN oraz K8S) z wykorzystaniem PySpark Visual Studio Code oraz JupyterHub Microsoft SQL Server 2019 i więcej :) Jak pracujemy w projektach? Pracujemy w metodyce Kanban Realizujemy swoje projekty holistycznie mając pełną kontrolę nad architekturą rozwiązania Wspieramy się standaryzacją rozwiązań i automatyzacją generowania kodu w celu budowania środowiska typu low-code Przywiązujemy uwagę do zarządzania metadanymi oraz automatycznego budowania dokumentacji przepływu danych (data-lineage) Tworzymy innowacyjne rozwiązania/produkty - wsparcie biznesu Zakres obowiązków: Analiza źródeł danych (data discovery) oraz automatyzacja procesu ich pozyskiwania do systemów analitycznych Integracja z wewnętrznymi i zewnętrznymi interfejsami API (rest api, odata) Wsparcie projektów migracyjnych z rozwiązań MS Integration Services do Spark + Airflow Budowanie struktur danych w relacyjnej hurtowni danych (MS SQL) oraz Data Lake (delta.io) Testowanie i dokumentowanie wykonywanych prac programistycznych. Monitorowanie procesów przetwarzania danych i reagowanie na potencjalne błędy Rozwijanie narzędzi automatyzujących prace programistyczne (m.in. wewnętrzna biblioteka standardowa, aplikacje konsolowe, cookiecutter oraz jinja templates) Wymagania: Bardzo dobra znajomość programowania w Python (v. 3.6+) – min 2 lata doświadczenia Dobra znajomość procesowania danych w Python z wykorzystaniem Apache Spark lub Pandas/Dask – min rok doświadczenia Dobra znajomość pracy z relacyjną bazą danych (preferowana MS SQL) poprzez interfejs pyodbc lub sqlalchemy Podstawowa znajomość Apache Airflow 2+ Znajomość i umiejętność implementacji OOP oraz SOLID, Umiejętność pisania testów jednostkowych i integracyjnych - TDD, znajomość frameworka pytest Umiejętność posługiwania się systemem kontroli wersji GIT, znajomość zasad git-flow Jak wygląda proces rekrutacyjny? Screening z HR Spotkanie z Kierownikiem Zespołu i HR Dzwonimy do Ciebie z informacją zwrotną, niezależnie od naszej decyzji. Jeżeli zainteresowaliśmy Ciebie powyższym opisem, to zapraszamy na wirtualną kawę na Teams ;)
Схожі вакансії
Consumer Data Product Manager
... employee referral program, your personal data will be processed until the ... the processing of your personal data may be extended each time ... the processing of your personal data during the recruitment process, further ...
DC Service Delivery Manager
... and escalate deviations to the data center service delivery lead Maximize ... employee referral program, your personal data will be processed until the ... the processing of your personal data during the recruitment process, further ...
Marketing Automation Product Manager
... employee referral program, your personal data will be processed until the ... the processing of your personal data may be extended each time ... the processing of your personal data during the recruitment process, further ...
I&O DE Process Manager
... employee referral program, your personal data will be processed until the ... the processing of your personal data may be extended each time ... the processing of your personal data during the recruitment process, further ...
IT Business Expert Manager
... employee referral program, your personal data will be processed until the ... the processing of your personal data may be extended each time ... the processing of your personal data during the recruitment process, further ...
IT Process Analyst Manager (SAP PPM & SAP PS)
... Business Intelligence groups assess master data and reporting requirements for key ... employee referral program, your personal data will be processed until the ... the processing of your personal data during the recruitment process, further ...
Business Expert Manager
... employee referral program, your personal data will be processed until the ... the processing of your personal data may be extended each time ... the processing of your personal data during the recruitment process, further ...
Process Analyst Manager (SAP PPM & SAP PS)
... Business Intelligence groups assess master data and reporting requirements for key ... employee referral program, your personal data will be processed until the ... the processing of your personal data during the recruitment process, further ...
IT Process Analyst Manager
... employee referral program, your personal data will be processed until the ... the processing of your personal data may be extended each time ... the processing of your personal data during the recruitment process, further ...
Process Analyst Manager
... employee referral program, your personal data will be processed until the ... the processing of your personal data may be extended each time ... the processing of your personal data during the recruitment process, further ...
Data Managment Associate
... on advancing their career in data analytics, data governance, and data management. This position is tailored ... in handling different types of data formats like CSV, JSON, parquet, ...
Data Managment Associate
... on advancing their career in data analytics, data governance, and data management. This position is tailored ... in handling different types of data formats like CSV, JSON, parquet, ...
Data Managment Associate
... on advancing their career in data analytics, data governance, and data management. This position is tailored ... in handling different types of data formats like CSV, JSON, parquet, ...
DWH Architect Data Modeling
... working in data, with experience spanning multiple data disciplines, including data science, data engineering, data analysis, and data warehousing. 3+ years of experience in data modeling at a high-growth ... that the data models would be able to ...
DWH Architect Data Modeling
... working in data, with experience spanning multiple data disciplines, including data science, data engineering, data analysis, and data warehousing. 3+ years of experience in data modeling at a high-growth ... that the data models would be able to ...
Data Governance Manager
... ensuring adherence to an enterprise data governance and data quality framework for data policies, standards and practices, both ... and technology to ensure that data related business requirements are clearly ...
Data Engineer
... seeking a talented Data Engineer to join us and help ... of experience in a Data Engineer role Python Scala Java Proficiency in data modeling (Dimensional data modeling, Data Vault, SCD, OBT, etc.) Building data processing pipelines utilizing AWS services ...
Data Engineer
... seeking a talented Data Engineer to join us and help ... of experience in a Data Engineer role Python Scala Java Proficiency in data modeling (Dimensional data modeling, Data Vault, SCD, OBT, etc.) Building data processing pipelines utilizing AWS services ...
Data Engineer
... products on our Azure Paas data platform At HCL, we are growing our Data & Analytics footprint. As our new data engineer you will collaborate with product ...