Context
Een internationale high-tech fabrikant met een sterke R&D-organisatie werkt aan de modernisering van haar data-infrastructuur. Het data-platform verwerkt onder andere grote hoeveelheden sensordata, die essentieel zijn voor analyses, productverbetering en innovatie binnen R&D-teams en voor support van klanten.
Het huidige landschap bestaat uit een on-premise Hadoop-cluster (Cloudera), met Spark, Oozie en Impala als kerncomponenten. Tegelijk bouwt de organisatie een modern dataplatform Azure cloud, gebaseerd op ADLSv2 en Databricks.
Het doel is helder: datastromen gecontroleerd migreren naar een schaalbare en toekomstbestendige cloudomgeving zonder de continuïteit van R&D-processen te verstoren.
Do Data sluit aan op een moment dat zowel technische voortgang als teamontwikkeling bepalend zijn voor het succes van deze transitie.
Uitdaging
Het team bestaat uit betrokken en deskundige engineers met diepgaande kennis van het domein en het bestaande platform. Door de groei van het landschap en de snelheid van ontwikkeling is kennis over verschillende onderdelen van de oplossing verdeeld over teamleden. Het team leunt op een beperkt aantal ervaren engineers, terwijl tijdsdruk vereist dat er nieuwe mensen instromen. Als een zeer ervaren engineer het team verlaat voor een nieuwe uitdaging, wordt de hulp van Do Data ingeroepen.
De voorgenomen cloudmigratie bestaat uit het deels migreren, deels herbouwen van data pipelines op Azure Databricks, met behulp van Python (pyspark) en SQL/dbt. Naast de pipelines ontwikkelt het team een oplossing om MATLAB-scripts schaalbaar uit te voeren op Kubernetes in de cloud.
Parallel aan de cloudmigratie blijft het legacy Hadoop-platform een cruciale rol spelen. Stakeholders binnen R&D en customer support blijven afhankelijk van de dataproducten die hieruit voortkomen.
De uitdaging zit hiermee niet in losse technische vraagstukken, maar in het gelijktijdig realiseren van drie doelen: het betrouwbaar laten draaien van het bestaande platform, het opbouwen van een nieuw cloudplatform en het laten meegroeien van het team — zonder in te leveren op kwaliteit of tempo.
Aanpak
Do Data stuurt een ervaren data engineer. Deze neemt een meewerkende en richtinggevende rol binnen het team met als doel het verspreiden en verbreden van kennis in het team.
Gezamenlijk ontwerpt en bouwt het team data pipelines in Databricks, (pySpark, dbt/SQL en Azure Data Factory) met nadruk op eenvoud, herbruikbaarheid en stabiliteit.
Om de MATLAB-API werkend te krijgen bouwt het team een asynchrone RPC-architectuur in Python (FastAPI, asyncio en Pika/RabbitMQ). MATLAB-runners draaien in Dockercontainers op Kubernetes, releases worden beheerd in Helm en het proces is volledig geautomatiseerd met Azure DevOps pipelines.
Investeren in mensen
Een belangrijk uitgangspunt in de aanpak is investeren in mensen. Nieuwe teamleden starten direct met pair-programming en gerichte 1-op-1 coaching, zodat zij vanaf dag één productief zijn. Do Data's consultant standaardiseert werkwijzen rondom Git, CI/CD en data-modellering en zorgt ervoor dat kennis actief wordt gedeeld. Hierdoor ontstaat een stevige basis waarin meerdere teamleden op elk onderdeel van de oplossing uit de voeten kunnen.
Door het verspreiden van kennis en het creëren van gedeelde verantwoordelijkheid voor de verschillende technische componenten wordt het team effectiever en minder afhankelijk van een klein aantal individuen.
Tot slot besteed de Do Data-consultant aandacht een het behouden van een goede sfeer in het team en het creëren van rust temidden van veranderingen in de omgeving en het team door te investeren in een teamcultuur en actief sturen op constructief en positief denken als er onverwachte gebeurtenissen optreden.
Resultaat & impact
Door deze aanpak blijft er rust en voorspelbaarheid in het team, ook als het even niet loopt zoals gedacht of gepland. Kennis blijft niet beperkt tot individuele specialismen, maar wordt actief gedeeld en geborgd. Nieuwe teamleden stappen sneller in en leveren eerder waarde, terwijl bestaande engineers hun expertise verbreden en elkaar versterken. Dat alles met behoud van het unieke karakter en de goede sfeer in het team.
Concreet leidt dit tot:
- Snelle en effectieve onboarding van nieuwe teamleden: binnen 2 sprints zelfstandig aan het werk
- Focus op kwaliteit en beheersbaarheid tijdens de migratie
- Toenemend vertrouwen van stakeholders in het nieuwe cloudplatform
- Het team wordt door het management genoemd als voorbeeld voor data engineering teams
Gaandeweg verandert ook de houding van stakeholders. Waar aanvankelijk terughoudendheid bestaat richting de cloud, groeit het vertrouwen naarmate meer data beschikbaar komt. Stakeholders tonen actief interesse in het nieuwe platform en vragen ondersteuning om zelf met de cloudomgeving te werken. Als kers op de taart dragen de stakeholders voor 2026 een groot aantal nieuwe use cases aan.
Deze case laat zien waar Do Data voor staat:
Wij brengen structuur en rust in complexe data-omgevingen en zijn snel effectief in bestaande teams en landschappen — met aandacht voor techniek én mensen.