Data Engineer

Functie

De klant zoekt voor het ICT & Data-Architectuur departement, dienst Data & Analytics architectuur, een Data Engineer.

Deze uitdagingen omvatten het ontsluiten van de technische data van de voertuigen, alsook de normalisatie van de data volgens de standaarden. Voor het datateam zijn we daarom op zoek naar een enthousiaste Data Engineer die onze data correct kan binnentrekken en interpreteren. Je komt terecht in een projectteam met als naaste collega's een Data Scientist, Data Analyst en Product Owner.

Takenpakket

Het onderhouden en uitbreiden van het Azure Data Platform:
- Opzetten van verschillende integraties met brondata (vb. API calls, loT Hub integratie, ... )
- Opzetten van ETL-pipelines in Python-codebase (gebruik van Azure Batch & Airflow voor batch-verwerking, gebruik van Azure Functions & Azure Event Hub voor realtimeverwerking)
- Refactoring/Up-to-date brengen van bestaande code
Het verzekeren van de datakwaliteit door:
- Afstemming met de leveranciers/externe partners
- Procesmonitoring (vb. Grafana, Azure Log Analytics, ... ) en inhoudelijke monitoring (vb. niet-communicerende voertuigen)
- Documentatie processen/beschikbare data
Support leveren voor bestaande dataproducten:
- Realtime dashboard in Power BI, met stream analytics input
- Historisch rapport in Streamlit

Vereiste vaardigheden

Aantoonbare ervaring als Data Engineer (5 jaar)
Aantoonbare ervaring met PySpark - CI/CD (3 jaar)
Aantoonbare ervaring met programmeer talen zoals Python, Java of Scala voor het ontwikkelen van datastromen en ETL-processen
Aantoonbare ervaring met scripting (Shell, perl, python)
Aantoonbare ervaring met het opzetten van verschillende integraties met brondata (vb. API calls, loT Hub integratie, ... )
Aantoonbare ervaring in het ontwerpen en implementeren van Extract, Transform, Load (ETL) processen
Aantoonbare ervaring met databanken
Aantoonbare ervaring met GIT-Streamlit (3 jaar)
Aantoonbare ervaring met Azure Batch & Airflow voor batch-verwerking
Aantoonbare ervaring met Azure Functions & Azure Event Hub voor realtime-verwerking

Talen