Corso di formazione IBM Datastage per Amministratori e Sviluppatori

Questo corso di formazione guidato dall'instruttore, in Italia (online o in sede), è rivolto a professionisti dei dati di livello avanzato che desiderano ottimizzare i flussi di lavoro di elaborazione dei dati, garantire l'integrità dei dati e implementare soluzioni robuste per data lakehouse in grado di gestire le complessità delle moderne applicazioni big data.

Al termine di questo corso, i partecipanti saranno in grado di:

• Acquisire una comprensione approfondita dell'architettura di Iceberg, inclusa la gestione dei metadati e l'organizzazione dei file.
• Configurare Iceberg per un rendimento ottimale in vari ambienti e integrarlo con più motori di elaborazione dei dati.
• Gestire tabelle di Iceberg su larga scala, eseguire complesse modifiche dello schema e gestire l'evoluzione delle partizioni.
• Dominare le tecniche per ottimizzare le prestazioni delle query e l'efficienza della scansione dei dati per grandi set di dati.
• Implementare meccanismi per garantire la coerenza dei dati, gestire le garanzie transazionali e affrontare i fallimenti in ambienti distribuiti.

Questo corso di formazione guidato dal docente (online o sul posto) è rivolto a professionisti dei dati di livello iniziale che desiderano acquisire le conoscenze e le competenze necessarie per utilizzare efficacemente Apache Iceberg per gestire dataset su larga scala, garantire l'integrità dei dati e ottimizzare i flussi di lavoro di elaborazione dei dati.

Al termine di questo corso, i partecipanti saranno in grado di:

• Acquisire una comprensione approfondita dell'architettura, delle funzionalità e dei vantaggi di Apache Iceberg.
• Conoscere i formati tabellari, la partizionamento, l'evoluzione dello schema e le capacità di time travel.
• Installare e configurare Apache Iceberg in diversi ambienti.
• Creare, gestire e manipolare tabelle Iceberg.
• Comprendere il processo di migrazione dei dati da altri formati tabellari a Iceberg.

Questa formazione guidata dal formatore in Italia (online o sul posto) si rivolge a data scientist e ingegneri di livello intermedio che desiderano utilizzare Google Colab e Apache Spark per il processing e l'analisi dei big data.

Alla fine di questa formazione, i partecipanti saranno in grado di:

• Configurare un ambiente di big data utilizzando Google Colab e Spark.
• Processare e analizzare grandi set di dati efficacemente con Apache Spark.
• Visualizzare i big data in un ambiente collaborativo.
• Integrare Apache Spark con strumenti basati sul cloud.

Apache Hadoop è il framework più popolare per il processing Big Data su cluster di server. In questo corso di tre (opzionalmente quattro) giorni, gli iscritti impareranno i benefici aziendali e i casi d'uso per Hadoop ed il suo ecosistema, come pianificare la distribuzione e lo scaling del cluster, come installare, mantenere, monitorare, risolvere problemi e ottimizzare Hadoop. Praticheranno anche il caricamento di dati bulk sul cluster, si familiarizzeranno con varie distribuzioni di Hadoop, ed impareranno a installare e gestire gli strumenti dell'ecosistema Hadoop. Il corso si conclude con una discussione sulla sicurezza del cluster tramite Kerberos.

"...I materiali sono stati preparati molto bene e coperti in modo approfondito. La Lab è stata molto utile ed organizzata bene"— Andrew Nguyen, Principal Integration DW Engineer, Microsoft Online Advertising

Target

Amministratori di Hadoop

Formato

Lezioni e laboratori pratici, equilibrio approssimativo 60% lezioni, 40% laboratorio.

Apache NiFi è una piattaforma open-source, basata sui flussi, per l'integrazione dei dati e il processo degli eventi. Consente di automatizzare il routing, la trasformazione e la mediazione del sistema in tempo reale tra sistemi diversi, con un'interfaccia web e un controllo granulare.

Questo training guidato dal docente (in loco o remoto) è rivolto a amministratori e ingegneri di livello intermedio che desiderano distribuire, gestire, proteggere e ottimizzare i flussi di dati NiFi in ambienti di produzione.

Al termine di questo training, i partecipanti saranno in grado di:

• Installare, configurare e mantenere cluster Apache NiFi.
• Progettare e gestire flussi di dati da sorgenti e destinazioni varie.
• Implementare logiche di automazione dei flussi, routing e trasformazione.
• Ottimizzare le prestazioni, monitorare le operazioni e risolvere problemi.

Formato del Corso

• Lezione interattiva con discussione su architetture reali.
• Laboratori pratici: costruire, distribuire e gestire flussi.
• Esercizi basati su scenari in un ambiente live-lab.

Opzioni di Personalizzazione del Corso

• Per richiedere una formazione personalizzata per questo corso, si prega di contattarci per organizzare l'evento.

In questo corso di formazione dal vivo con istruttore in Italia, i partecipanti impareranno i fondamenti della programmazione basata sul flusso mentre sviluppano una serie di estensioni, componenti e processori demo utilizzando Apache NiFi.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Comprendi l'architettura e i concetti del flusso di dati di NiFi.
• Sviluppa estensioni utilizzando NiFi e API di terze parti.
• Sviluppare su misura il proprio processore Apache Nifi.
• Acquisisci ed elabora dati in tempo reale da formati di file e origini dati diversi e non comuni.

Questo corso offre un'introduzione pratica alla creazione di workflow scalabili per l'elaborazione dei dati e il Machine Learning utilizzando PySpark. I partecipanti apprenderanno come Apache Spark opera all'interno degli ecosistemi moderni di Big Data e come elaborare in modo efficiente grandi dataset sfruttando i principi del calcolo distribuito.

Questo training guidato dal formatore in Italia (online o in presenza) è rivolto agli ingegneri che desiderano configurare e implementare il sistema Apache Spark per l'elaborazione di grandi quantità di dati.

Alla fine di questo corso, i partecipanti saranno in grado di:

• Installare e configurare Apache Spark.
• Lettura rapida ed analisi di grandi quantità di dati.
• Capire le differenze tra Apache Spark e Hadoop MapReduce e quando utilizzare ciascuno dei due.
• Integrare Apache Spark con altri strumenti di apprendimento automatico.

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto agli amministratori di sistema di livello principiante e intermedio che desiderano distribuire, gestire e ottimizzare i cluster Spark.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Installare e configurare Apache Spark in vari ambienti.
• Gestisci le risorse del cluster e monitora le applicazioni Spark.
• Ottimizzare le prestazioni dei cluster Spark.
• Implementa misure di sicurezza e garantisci un'elevata disponibilità.
• Eseguire il debug e risolvere i problemi comuni di Spark.

L'andamento della curva di apprendimento di Apache Spark si intensifica lentamente all'inizio, richiedendo molto sforzo per ottenere i primi risultati. Questo corso mira a superare la prima parte difficile. Dopo aver completato il corso, i partecipanti comprenderanno le basi di Apache Spark, sapranno distinguere chiaramente RDD da DataFrame, impareranno l'API Python e Scala, capiranno gli esecutori e i task, ecc. Inoltre, seguendo le best practice, questo corso si concentra fortemente sulla distribuzione nel cloud, su Databricks e AWS. Gli studenti comprenderanno anche le differenze tra AWS EMR e AWS Glue, uno dei servizi Spark più recenti di AWS.

PUBBLICO:

Data Engineer, DevOps, Data Scientist

In questo corso di formazione dal vivo con istruttore in Italia, i partecipanti impareranno come utilizzare Python e Spark insieme per analizzare i big data mentre lavorano su esercizi pratici.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Scopri come utilizzare Spark con Python per analizzare Big Data.
• Lavora su esercizi che imitano casi del mondo reale.
• Utilizzare diversi strumenti e tecniche per l'analisi dei big data utilizzando PySpark.

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto agli sviluppatori che desiderano utilizzare e integrare Spark, Hadoop e Python per elaborare, analizzare e trasformare set di dati grandi e complessi.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Configurare l'ambiente necessario per iniziare a elaborare i big data con Spark, Hadoop e Python.
• Comprendere le funzionalità, i componenti principali e l'architettura di Spark e Hadoop.
• Scopri come integrare Spark, Hadoop e Python per l'elaborazione dei big data.
• Esplora gli strumenti nell'ecosistema Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka e Flume).
• Crea sistemi di raccomandazione di filtraggio collaborativi simili a Netflix, YouTube, Amazon, Spotify e Google.
• Usa Apache Mahout per ridimensionare gli algoritmi di machine learning.

Spark SQL è il modulo di Apache Spark per lavorare con dati strutturati e non strutturati. Spark SQL fornisce informazioni sulla struttura dei dati e sul calcolo che viene eseguito. Queste informazioni possono essere utilizzate per eseguire ottimizzazioni. Due utilizzi comuni di Spark SQL sono:
- l'esecuzione di query SQL.
- la lettura di dati da un'installazione esistente di Hive.

In questa formazione guidata dal docente (in presenza o a distanza), i partecipanti impareranno come analizzare vari set di dati utilizzando Spark SQL.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Installare e configurare Spark SQL.
• Eseguire l'analisi dei dati utilizzando Spark SQL.
• Eseguire query su set di dati in diversi formati.
• Visualizzare i dati e i risultati delle query.

Formato del Corso

• Lezione interattiva e discussione.
• Molti esercizi e pratica.
• Implementazione pratica in un ambiente live-lab.

Opzioni di Personalizzazione del Corso

• Per richiedere una formazione personalizzata per questo corso, si prega di contattarci per organizzare l'evento.

Stratio è una piattaforma orientata ai dati che integra big data, AI e governance in un'unica soluzione. I moduli Rocket e Intelligence permettono esplorazioni rapide dei dati, trasformazioni ed analisi avanzate negli ambienti aziendali.

Questa formazione guidata dal docente (online o in sede) è rivolta a professionisti dei dati di livello intermedio che desiderano utilizzare i moduli Rocket e Intelligence di Stratio efficacemente con PySpark, concentrandosi su strutture di ciclo, funzioni definite dall'utente e logica avanzata dei dati.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Navigare e lavorare all'interno della piattaforma Stratio utilizzando i moduli Rocket e Intelligence.
• Applicare PySpark nel contesto di ingestione, trasformazione ed analisi dei dati.
• Utilizzare cicli e logica condizionale per controllare i flussi di lavoro dei dati e le attività di feature engineering.
• Creare e gestire funzioni definite dall'utente (UDFs) per operazioni di dati riutilizzabili in PySpark.

Formato del Corso

• Lezione interattiva e discussione.
• Molte esercitazioni e pratica.
• Implementazione pratica in un ambiente di laboratorio live.

Opzioni di Personalizzazione del Corso

• Per richiedere una formazione personalizzata per questo corso, contattateci per organizzare l'evento.