Senior Cloud Data Engineer (Remote)

Spółkę HIRELY tworzą profesjonaliści, którzy posiadają wiele lat doświadczenia w takich obszarach jak: IT, BI, zarządzanie projektami i przedsiębiorstwami. Cechuje nas wysoka jakość i efektywność realizowanych projektów poprzez właściwe dopasowanie kandydata do profilu poszukiwanego stanowiska i kultury organizacyjnej panującej w firmie.

Partnerstwo, rzetelność i transparentność – to wartości, którymi kierujemy się we wszystkich naszych działaniach.

About The Company

HIRELY company is formed by professionals who have many years of experience in such areas as IT, BI, project and enterprise management. We are defined by high quality and efficiency of projects carried out through proper matching of the candidate to the profile of the position sought and the organizational culture prevailing in the company.

Partnership, reliability and transparency – these are the values that guide us in all our activities.

Opis stanowiska

Miejsce pracy: Zdalnie

Start współpracy: ASAP

Stawka: 24 000-25 600 PLN+VAT/B2B

Poszukujemy doświadczonego Senior Cloud Data Engineera (minimum 5 lat doświadczenia), który dołączy do projektu dla klienta z Wielkiej Brytanii. Szukamy osoby z biegłą znajomością języka angielskiego na poziomie co najmniej B2.

Informacje o Zespole

• Projekt realizowany jest dla klienta z UK, zespół liczy obecnie 3 Data Engineerów oraz lidera technicznego.
• Praca z dużymi wolumenami danych (od MB do GB).
• Stos technologiczny: Kafka, Postgres, Medallion Architecture, PySpark, SQL, Kedro, Airbyte.

Job Description

Work Location: Remote

Start: ASAP

Rate: 24 000-25 600 PLN+VAT/B2B

We are looking for an experienced Senior Cloud Data Engineer (minimum 5 years of experience) to join a project for a client based in the United Kingdom. We are seeking a candidate with a fluent command of English at least at a B2 level.

Team Information

• The project is carried out for a client from the UK, and the team currently consists of 3 Data Engineers and a technical leader.
• Work with large data volumes (ranging from MB to GB).
• Technology stack: Kafka, Postgres, Medallion Architecture, PySpark, SQL, Kedro, Airbyte.

Benefity

• Karta Multisport
• Prywatna opieka medyczna

Benefits

• Multisport card
• Private medical care

Wymagane doświadczenie

Główne Wymagania

• Minimum 5 lat doświadczenia jako Data Engineer.
• Biegła znajomość Databricks – codzienna praca z tym narzędziem jest kluczowa.
• Znajomość: Python, PySpark, SQL, ETL Processing, AWS (S3, Docker).
• Podstawowa znajomość Azure.
• Doświadczenie z infrastrukturą jako kod (Terraform).
• Gotowość do wsparcia on-call (dodatkowo płatne): reakcja w ciągu 30 minut, wsparcie na zmianę z zespołem (tydzień dyżuru, trzy tygodnie przerwy).

Mile widziane:

• Doświadczenie z narzędziami: Kedro, Airbyte.
• Znajomość ML oraz Medallion Architecture.
• Doświadczenie w pracy z dużymi wolumenami danych z różnych źródeł (Kafka, RDBMS, CDC, filesystem)

Zakres Obowiązków

• Data ingestion oraz implementacja transformat przy użyciu PySpark i SQL.
• Obsługa infrastruktury w AWS: S3, Docker oraz Kubernetes.
• Praca z Databricks: Unity Catalog, Workflows, jobs, wizualizacja danych w notebookach, testowanie kodu (unit i integration testing).
• Implementacja rozwiązań CI/CD przy użyciu CircleCI.
• Projektowanie i wdrażanie rozwiązań w oparciu o architekturę DataBricks.

Experience Required

Key Requirements:

• Minimum of 5 years of experience as a Data Engineer.
• Proficient in Databricks – daily work with this tool is crucial.
• Knowledge of: Python, PySpark, SQL, ETL Processing, AWS (S3, Docker).
• Basic knowledge of Azure.
• Experience with Infrastructure as Code (Terraform).
• Willingness to provide on-call support (additional pay): response within 30 minutes, support on a rotation basis with the team (one week of duty, three weeks off).

Nice To Have

• Experience with tools: Kedro, Airbyte.
• Knowledge of ML and Medallion Architecture.
• Experience working with large volumes of data from various sources (Kafka, RDBMS, CDC, filesystem).

Responsibilities:

• Data ingestion and implementation of transformations using PySpark and SQL.
• Infrastructure management in AWS: S3, Docker, and Kubernetes.
• Work with Databricks: Unity Catalog, Workflows, jobs, data visualization in notebooks, code testing (unit and integration testing).
• Implementation of CI/CD solutions using CircleCI.
• Design and deploy solutions based on DataBricks architecture.