Görəcəyiniz işlər:

• Böyük həcmli məlumatların emalı üçün etibarlı  proseslərinin hazırlanması və idarə edilməsi;
• Batch və streaming rejimlərində məlumat emalı proseslərinin qurulması;
• Data Lake, Data Warehouse və Lakehouse arxitekturalarının tətbiqi və inkişaf etdirilməsi;
• Real-time məlumatların CDC mexanizmləri ilə platformaya inteqrasiyası;
• Məlumat platformasında performans, etibarlılıq və təhlükəsizlik tələblərinə uyğun texniki həllərin hazırlanması;
• Cross-functional komandalar üçün texniki dəstəyin göstərilməsi və proseslərin sənədləşdirilməsi.

Bizim üçün uyğun namizəd:

• Apache Spark ilə dağıdılmış məlumat emalı (batch və streaming) üzrə güclü təcrübəsi olan;
• Trino (və ya Presto) üzrə dərin biliklərə sahib;
• Hive ilə məlumat anbarı, partitioning, serde və performans optimallaşdırılması üzrə təcrübəyə malik;
• CDC prosesləri və Oracle GoldenGate vasitəsilə real-time data ingesting üzrə bilikləri olan;
• Apache Airflow ilə DAG-ların hazırlanması, optimallaşdırılması və iş cədvəllərinin idarə olunmasını bacaran;
• Apache Ranger ilə data security, access control və audit siyasətlərinin tətbiqini edə bilən;
• Data governance, metadata management və audit mexanizmlərinin qurulması üzrə təcrübəyə malik;
• MLflow vasitəsilə model tracking, versioning və deployment proseslərinin idarə edilməsini bacaran;
• Feast ilə feature store dizaynı və idarə olunmasına malik;
• Jupyter mühitində ilkin data processing və eksperimentlərin aparılmasını bilən;
• Linux əməliyyat sistemləri üzrə dərin biliklərə malik;
• MinIO advanced administration (erasure coding, bucket policy, load balancing);
• Python — Spark, Airflow DAG-ları, ETL və MLOps prosesləri üzrə biliklərə sahib;
• Git və CI/CD (GitLab CI/Jenkins) ilə iş təcrübəsi olan;
• Shell scripting və SQL üzrə  bilikləri olan;
• Docker/Kubernetes teknologiyaları üzrə anlayış (üstünlükdür) olan;
• Big Data, Data Engineering minimum 3–5 il iş təcrübəsinə sahib;
• Enterprise-level data platformalarında çalışma təcrübəsi üstünlük hesab olunur;
• Kompleks sistemləri analiz etmək və problemlərin əsas səbəblərini müəyyən etmək bacarığı olan;
• Komanda ilə səmərəli əməkdaşlıq və digər departamentləri texniki baxımdan dəstəkləmək bacarığı olan;
• Sənədləşdirmə, standartlara uyğunluq və təhvil-təslim proseslərini dəqiq icra edə bilən şəxsdir.