Data Engineer

• Multinazionale operante nel settore dell'IT Business Consulting
• Ambiente lavorativo dinamico e innovativo

Il nostro cliente

Multinazionale operante nel settore dell'IT Business Consulting.

Ruolo

• Progettazione e sviluppo di data pipeline distribuite su stack Cloudera CDP (Cloudera Data Platform)
• Implementazione di processi di ingestione, trasformazione ed esposizione dati ad alte prestazioni, utilizzando Apache Spark, Apache Hive, Impala, Kafka e HDFS
• Collaborazione con i team di architettura, sicurezza e infrastruttura per la definizione di soluzioni scalabili e sicure
• Gestione e ottimizzazione delle performance di job Spark e query Hive/Impala su grandi volumi di dati
• Supporto alla governance e qualità del dato, anche tramite strumenti nativi Cloudera come Atlas, Navigator e Ranger
• Esecuzione di attività di debug, troubleshooting e tuning su ambienti complessi
• Collaborazione su progetti di migrazione dati, modernizzazione di data warehouse e adozione di data lake su ambienti cloud (AWS, Azure)
• Produzione di documentazione tecnica e supporto nella fase di deployment in ambienti di test, staging e produzione

Il candidato prescelto

• Minimo 2 anni di esperienza in progetti su tecnologia Cloudera (preferibilmente su versioni CDH o CDP)
• Ottima conoscenza dei principali componenti del Cloudera ecosystem: Apache Hadoop (HDFS, YARN, MapReduce), Apache Spark (batch e streaming), Apache Hive, Impala, Kafka, Oozie
• Buona padronanza di SQL, PySpark o Scala, e scripting Bash
• Conoscenza dei meccanismi di data lineage, sicurezza e metadata management
• Esperienza con strumenti di orchestrazione (es. Airflow) e versionamento del codice (es. Git)
• Familiarità con ambienti cloud (AWS, Azure, GCP) e infrastrutture ibride

Cosa comprende l'offerta

• Ottima opportunità di carriera
• Smart working ibrido

Job ref: JN-072025-6793851