Alle dipendenze del Direttore – Data Engineering, Blackline Safety è alla ricerca di un Data Engineer che contribuisca a sviluppare e promuovere la nostra piattaforma dati Blackline, volta a favorire l’analisi dei dati e l’innovazione. Disponiamo di un sistema di sicurezza connesso di livello mondiale e stiamo realizzando una piattaforma dati di livello mondiale che sia all’altezza.
Sarai responsabile della creazione di processi di streaming e trasformazione dei dati in tempo reale utilizzando Java/Scala sulla piattaforma EMR-Spark e tecnologie Big Data di nuova generazione.
Le responsabilità includono lo sviluppo, la creazione e l'ottimizzazione della nostra architettura di pipeline di dati nuova ed esistente, pensata per i clienti interni ed esterni. La pipeline deve essere scalabile, robusta, ripetibile e utilizzare le migliori e più recenti pratiche del settore in materia di Big Data, CI/CD e DataOps. Lavorerai all'espansione della piattaforma dati Blackline insieme ai team di prodotto, architettura e ingegneria, concentrandoti su decisioni, prodotti e analisi basati sui dati. L'architettura dei dati, il framework e lo stack tecnologico includono IoT, EC2, RDS MySQL, RedShift, Spark, EMR, Kafka, Kinesis (Streams, Firehose, Analytics), Lambda, Datalakes, Deltalakes, Event bus, DataDog, pipeline CD/CI, CloudFormation, Jenkins, Terraform, Python, Java e altro ancora.
ID ANNUNCIO: PSDATENG
Chi sei?
Ritieni che i big data aiutino le aziende a risolvere problemi concreti. Hai una predisposizione per l'ingegneria, l'architettura dei big data e la gestione di diversi tipi di framework di dati, tra cui, a titolo esemplificativo ma non esaustivo, data warehousing, modellazione, analisi e integrazioni da varie fonti di dati. Sei una persona curiosa e innovativa, non sei legato a un unico strumento o piattaforma e sei in grado di risolvere i problemi in modo creativo. Hai una buona padronanza di diversi linguaggi di programmazione come SQL, Java, Python, Scala ecc. e aspiri a imparare modi alternativi di risolvere i problemi. Sei appassionato di tutto ciò che riguarda i dati e cerchi di sfruttare dati, analisi e approfondimenti per risolvere problemi aziendali. Sei un giocatore di squadra, motivato, ami collaborare, sei creativo e sei entusiasta di fare la differenza per le persone e i prodotti utilizzati nel mondo reale.
Requisiti
- Almeno 5 anni di esperienza nel ruolo di ingegnere dei dati, con laurea magistrale in Informatica, Statistica, Scienze dell'informazione, Sistemi informativi o in un altro settore quantitativo.
- Esperienza nella creazione, progettazione e ottimizzazione di pipeline di dati "big data" utilizzando una combinazione di Java, Scala, Python, Ruby, Glue, Sagemaker, EMR, Lambda, Step Function, CloudFormation e Terraform.
- Esperienza con strumenti per i big data: Hadoop, Spark, Flink, Kafka, DataDog, EventBus; servizi cloud AWS: EC2, EMR, RDS, Redshift, Redshift Spectrum; chiamate API, generazione di API
- Ha una solida esperienza nella progettazione di framework ETL incentrati su Apache Spark Streaming e Batch
- Ha una solida esperienza nell'integrazione di dati provenienti da fonti e formati diversi nel data lake, in formati strutturati quali Parquet e CSV.
- Esperienza pratica nell’implementazione di data warehouse su cloud (Snowflake, Redshift) e tecnologie Big Data, compresa la conoscenza dei principi fondamentali dei data warehouse relativi a fatti, dimensioni, caricamenti incrementali, CDC e SCD.
- Vanta una solida esperienza nello sviluppo e nella manutenzione di pipeline di streaming Kafka.
- Una comprovata esperienza nella gestione, nell'elaborazione e nell'estrazione di valore da grandi set di dati disgiunti utilizzando metodologie ETL/ELT e tecnologie quali Deltalake, Databricks, Matillion ecc., nonché nell'integrazione dei dati provenienti da silos in un'unica fonte di dati master
- Ho una solida esperienza nella creazione di processi Spark Transformation per la gestione di formati JSON complessi e annidati e per l'unione di dati in streaming con file Parquet in Datalake.
- Buona conoscenza della gestione di Datalake tramite Lake Formation e dei relativi ruoli.
- Supportare i carichi di lavoro di produzione (su S3, Hadoop, Hive, Spark, Flink, Kafka ecc.) e sviluppare processi a supporto della trasformazione dei dati, delle strutture dei dati, dei metadati, delle dipendenze e della gestione dei carichi di lavoro.
- Ha una solida esperienza nel tradurre i requisiti aziendali e nell'implementazione di controlli di qualità dei dati e delle migliori pratiche per garantire un processo di compilazione e distribuzione senza intoppi.
- Esperienza nella realizzazione e nella gestione di sistemi distribuiti ad alta disponibilità per l'estrazione, l'acquisizione e l'elaborazione di grandi insiemi di dati
- Esperienza nella creazione incrementale di prodotti basati sui dati e nell'integrazione e gestione di set di dati provenienti da più fonti
- Esperienza nella guida tecnica e nel tutoraggio di altri ingegneri sulle migliori pratiche nel campo del data engineering
- Buona conoscenza pratica delle code di messaggi AWS, dell'elaborazione dei flussi e degli archivi di dati "big data" altamente scalabili.
Informazioni su Blackline Safety
Blackline Safety è leader mondiale nello sviluppo e nella produzione di prodotti per la sicurezza connessi in modalità wireless. Offriamo la gamma più ampia e completa disponibile nel settore. I nostri prodotti sono progettati per salvare vite umane e ci consentono di monitorare il personale che lavora in solitudine in aree densamente popolate, in strutture interne complesse e nelle zone più remote del nostro pianeta. I prodotti Blackline vengono utilizzati per garantire la sicurezza delle persone in caso di cadute, mancata segnalazione di posizione, malori e esposizione a gas esplosivi o tossici. La progettazione, lo sviluppo, le vendite, il marketing, l'assistenza e la produzione sono tutti gestiti internamente presso la nostra sede centrale a Calgary, in Alberta. Blackline Safety è una società quotata in borsa (TSX: BLN). Per ulteriori informazioni sulla nostra azienda, visitate il sito www.blacklinesafety.com
Blackline Safety trae la propria forza dalla diversità dei nostri talentuosi dipendenti. Siamo un datore di lavoro che garantisce pari opportunità. Prendiamo in considerazione tutte le candidature, indipendentemente da età, religione, razza, colore della pelle, origini, genere, identità o espressione di genere, disabilità, nazionalità, etnia e orientamento sessuale. Incoraggiamo vivamente tutti a candidarsi per le posizioni che rispecchiano le loro passioni. Unisciti al nostro team inclusivo e inizia a collaborare con noi a progetti entusiasmanti!