Datový vývojář – Azure Databricks
Pro významný enterprise projekt v oblasti modernizace datové platformy a migrace DWH do cloudového prostředí Azure hledáme zkušené Data Engineery se zaměřením na Azure Databricks. Budete součástí týmu, který buduje moderní Lakehouse platformu nad rozsáhlými datovými doménami v prostředí enterprise architektury.
Projekt zahrnuje integraci dat ze systémů SAP, návrh a implementaci datových toků, práci s Big Data technologiemi a rozvoj cloudového DWH řešení v prostředí Azure.
Co vás čeká
- Vývoj a implementace datových pipeline v prostředí Azure Databricks
- Návrh a realizace ETL/ELT procesů
- Transformace a zpracování dat pomocí PySpark a Spark SQL
- Práce s Delta Lake a Data Lakehouse architekturou
- Integrace dat ze SAP a dalších enterprise systémů
- Návrh datových komponent, validací a kontrol datové kvality
- Optimalizace výkonu Spark jobů a datových transformací
- Spolupráce s analytiky, architekty a dalšími členy delivery týmu
- Verzování kódu, CI/CD a deployment řešení v Azure DevOps
- V případě vyšší seniority také:
- návrh architektury řešení,
- code review,
- mentoring juniornějších kolegů,
- návrh orchestrace a data quality frameworků
Technologie
- Azure Databricks
- PySpark / Spark SQL
- Delta Lake
- Azure Data Factory
- Azure DevOps / Git
- MS Azure
- Kafka
- Power BI
- SAP CRM / IS-U
- Python
Koho hledáme
- zkušenost v oblasti Data Engineeringu nebo DWH
- praktická znalost Azure Databricks
- zkušenost s vývojem datových pipeline
- PySpark a Spark SQL
- zkušenost s ETL/ELT procesy
- orientace v datových modelech a Lakehouse architektuře
- práce s Git repozitáři a CI/CD
- zkušenost s cloudovým prostředím Azure
Výhodou
- zkušenost s návrhem architektury datových řešení
- optimalizace Spark workloadů a performance tuning
- zkušenost s code review a technickým vedením
- schopnost rozdělit komplexní řešení do udržitelných komponent
- mentoring a vedení vývojářů
- zkušenost s governance a správou Databricks prostředí (Unity Catalog apod.)
- zkušenost z enterprise prostředí
- zkušenost s energetikou nebo utility sektorem
- znalost SAP datových struktur
- zkušenost s Kafka/event-driven architekturou
- zkušenost s Data Quality frameworky
Co nabízíme
- enterprise projekt v oblasti moderní cloudové datové platformy
- možnost podílet se na migraci rozsáhlého DWH do Azure
- práce s moderním data stackem a Big Data technologiemi
- agilní prostředí a zkušený tým
- prostor pro technický růst i architektonický přesah
- příležitost stát se členem Projectman – největší komunity freelance projektových manažerů a business analytiků v Čechách a na Slovensku
- plnou podporu po dobu projektu
- networkingové, vzdělávací a společenské akce pro Váš profesní rozvoj
