Hirely
Senior Cloud Data Engineer (Remote)
Senior Cloud Data Engineer | Hirely | Poland
Senior Cloud Data Engineer | Hirely | Poland
Partnerstwo, rzetelność i transparentność – to wartości, którymi kierujemy się we wszystkich naszych działaniach.
About The Company
HIRELY company is formed by professionals who have many years of experience in such areas as IT, BI, project and enterprise management. We are defined by high quality and efficiency of projects carried out through proper matching of the candidate to the profile of the position sought and the organizational culture prevailing in the company.
Partnership, reliability and transparency – these are the values that guide us in all our activities.
Opis stanowiska
Miejsce pracy: Zdalnie
Start współpracy: ASAP
Stawka: 24 000-25 600 PLN+VAT/B2B
Poszukujemy doświadczonego Senior Cloud Data Engineera (minimum 5 lat doświadczenia), który dołączy do projektu dla klienta z Wielkiej Brytanii. Szukamy osoby z biegłą znajomością języka angielskiego na poziomie co najmniej B2.
Informacje o Zespole
- Projekt realizowany jest dla klienta z UK, zespół liczy obecnie 3 Data Engineerów oraz lidera technicznego.
- Praca z dużymi wolumenami danych (od MB do GB).
- Stos technologiczny: Kafka, Postgres, Medallion Architecture, PySpark, SQL, Kedro, Airbyte.
Job Description
Work Location: Remote
Start: ASAP
Rate: 24 000-25 600 PLN+VAT/B2B
We are looking for an experienced Senior Cloud Data Engineer (minimum 5 years of experience) to join a project for a client based in the United Kingdom. We are seeking a candidate with a fluent command of English at least at a B2 level.
Team Information
- The project is carried out for a client from the UK, and the team currently consists of 3 Data Engineers and a technical leader.
- Work with large data volumes (ranging from MB to GB).
- Technology stack: Kafka, Postgres, Medallion Architecture, PySpark, SQL, Kedro, Airbyte.
Benefity
- Karta Multisport
- Prywatna opieka medyczna
Benefits
- Multisport card
- Private medical care
Wymagane doświadczenie
Główne Wymagania
- Minimum 5 lat doświadczenia jako Data Engineer.
- Biegła znajomość Databricks – codzienna praca z tym narzędziem jest kluczowa.
- Znajomość: Python, PySpark, SQL, ETL Processing, AWS (S3, Docker).
- Podstawowa znajomość Azure.
- Doświadczenie z infrastrukturą jako kod (Terraform).
- Gotowość do wsparcia on-call (dodatkowo płatne): reakcja w ciągu 30 minut, wsparcie na zmianę z zespołem (tydzień dyżuru, trzy tygodnie przerwy).
Mile widziane:
- Doświadczenie z narzędziami: Kedro, Airbyte.
- Znajomość ML oraz Medallion Architecture.
- Doświadczenie w pracy z dużymi wolumenami danych z różnych źródeł (Kafka, RDBMS, CDC, filesystem)
Zakres Obowiązków
- Data ingestion oraz implementacja transformat przy użyciu PySpark i SQL.
- Obsługa infrastruktury w AWS: S3, Docker oraz Kubernetes.
- Praca z Databricks: Unity Catalog, Workflows, jobs, wizualizacja danych w notebookach, testowanie kodu (unit i integration testing).
- Implementacja rozwiązań CI/CD przy użyciu CircleCI.
- Projektowanie i wdrażanie rozwiązań w oparciu o architekturę DataBricks.
Experience Required
Key Requirements:
- Minimum of 5 years of experience as a Data Engineer.
- Proficient in Databricks – daily work with this tool is crucial.
- Knowledge of: Python, PySpark, SQL, ETL Processing, AWS (S3, Docker).
- Basic knowledge of Azure.
- Experience with Infrastructure as Code (Terraform).
- Willingness to provide on-call support (additional pay): response within 30 minutes, support on a rotation basis with the team (one week of duty, three weeks off).
Nice To Have
- Experience with tools: Kedro, Airbyte.
- Knowledge of ML and Medallion Architecture.
- Experience working with large volumes of data from various sources (Kafka, RDBMS, CDC, filesystem).
Responsibilities:
- Data ingestion and implementation of transformations using PySpark and SQL.
- Infrastructure management in AWS: S3, Docker, and Kubernetes.
- Work with Databricks: Unity Catalog, Workflows, jobs, data visualization in notebooks, code testing (unit and integration testing).
- Implementation of CI/CD solutions using CircleCI.
- Design and deploy solutions based on DataBricks architecture.
Show more
Show less
Related Jobs
See more All Other Remote Jobs-
NewSave
-
NewSave
-
NewSave
-
NewSave
-
NewSave
-
NewSave
- Save
- Save
- Save
- Save