Corso di formazione Fondamenti di Apache Iceberg

Questo corso dal vivo tenuto da istruttori in Italia (online o in sede) è rivolto a professionisti dei dati con competenze avanzate, che desiderano ottimizzare i processi di elaborazione e garantire la qualità e integrità dei dati implementando soluzioni affidabili per l’analisi su larga scala.

Alla fine del corso, i partecipanti saranno in grado di:

• Comprendere a fondo l’architettura di Iceberg, inclusa la gestione dei metadati e la struttura dei file.
• Configurare Iceberg per ottimizzare le prestazioni in diversi ambienti ed integrarlo con molteplici motori di elaborazione dati.
• Gestire tabelle Iceberg su larga scala, applicare modifiche complesse agli schemi e gestire l’evoluzione delle partizioni.
• Padroneggiare tecniche utili a migliorare le prestazioni delle query e l’efficienza nella lettura di enormi volumi di dati.
• Implementare misure per assicurare la coerenza dei dati, gestire correttamente le transazioni e superare eventuali problemi negli ambienti distribuiti.

Questo corso pratico, tenuto da un istruttore <in loc> (online o in presenza), si rivolge a data scientist ed ingegneri di livello intermedio che desiderano utilizzare Google Colab e Apache Spark per l’elaborazione e l’analisi dei big data.

Al termine del corso, i partecipanti saranno in grado di:

• Configurare un ambiente per l’elaborazione dei big data tramite Google Colab e Spark.
• Elaborare e analizzare in modo efficiente grandi quantità di dati con Apache Spark.
• Visualizzare i dati di grandi dimensioni all’interno di un ambiente collaborativo.
• Integrare Apache Spark con strumenti basati sul cloud.

I partecipanti che completano questo corso formativo in diretta tenuto da un istruttore Italia otterranno una comprensione concreta e applicabile del Big Data, nonché delle tecnologie, metodologie e strumenti ad esso correlati.

Avranno l’opportunità di applicare tali nozioni attraverso esercizi pratici; inoltre, l’interazione tra i partecipanti e il feedback dell’istruttore sono componenti essenziali del percorso formativo.

Il corso si apre con una introduzione ai concetti di base del Big Data, proseguendo poi con i linguaggi di programmazione e le metodologie impiegate nell’analisi dei dati. Si tratteranno infine gli strumenti e le infrastrutture che consentono l’archiviazione, l’elaborazione distribuita e la scalabilità del Big Data.

Questo corso live tenuto da un istruttore (online o in presenza) si rivolge a ingegneri dei dati, analisti dati e professionisti del settore che desiderano utilizzare Databricks e PySpark per creare pipeline di dati scalabili e migrare workflow SQL esistenti.

Questo corso offre un’introduzione pratica alla creazione di flussi di lavoro per l'elaborazione dei dati e l'apprendimento automatico in modo scalabile, sfruttando PySpark. I partecipanti acquisiranno conoscenze su come Apache Spark si inserisca negli attuali ecosistemi di Big Data e sulle modalità più efficaci per elaborare set di dati di grandi dimensioni grazie ai principi del calcolo distribuito.

Questo corso pratico di tre giorni si concentra sulla creazione e ottimizzazione di carichi di lavoro per l'elaborazione dati efficienti utilizzando PySpark, Pandas e Polars in ambienti basati su Kubernetes.

I partecipanti acquisiranno una comprensione pratica di come le applicazioni Spark vengano eseguite su Kubernetes e di come le decisioni di configurazione a livello applicativo influenzino le prestazioni, la scalabilità, il consumo delle risorse e i costi. Il corso copre aree chiave di ottimizzazione, tra cui la dimensionamento degli esecutori, l'allocazione della memoria, l'allocazione dinamica, le strategie di partizionamento, il comportamento dello shuffle, i problemi legati ai file di piccole dimensioni e l'elaborazione efficiente di Parquet.

Il corso affronta anche le sfide comuni incontrate nell'uso di Pandas, inclusi i limiti di memoria e i guasti per esaurimento della memoria (out-of-memory), e introduce Polars come alternativa ad alte prestazioni per specifici carichi di lavoro di elaborazione dati. Attraverso esercizi pratici, i partecipanti diagnosticheranno problemi di prestazioni e memoria, confronteranno diverse strategie di configurazione e applicheranno tecniche di ottimizzazione a scenari realistici di ETL e machine learning.

L'accento è posto su decisioni pratiche: comprendere come identificare i colli di bottiglia, selezionare lo strumento appropriato, configurare Spark in modo efficiente e bilanciare le prestazioni con il consumo delle risorse infrastrutturali e i costi.

Questo corso formativo dal vivo, condotto da istruttori in Italia (online o in presenza), è pensato per ingegneri che intendono impostare e utilizzare il sistema Apache Spark al fine di gestire grandi quantità di dati.

Al termine del corso i partecipanti saranno in grado di:

• Installare e configurare Apache Spark.
• Elaborare e analizzare rapidamente insiemi di dati molto voluminosi.
• Capire le differenze tra Apache Spark e Hadoop MapReduce, nonché quando impiegarli.
• Integrare Apache Spark con altri strumenti di machine learning.

Questa formazione dal vivo, guidata da un istruttore, su Italia (online o in sede), è rivolta a system administrators di livello principiante a intermedio che desiderano distribuire, mantenere e ottimizzare i cluster Spark.

A fine formazione, i partecipanti saranno in grado di:

• Installare e configurare Apache Spark in vari ambienti.
• Gestire le risorse del cluster e monitorare le applicazioni Spark.
• Ottimizzare le prestazioni dei cluster Spark.
• Implementare misure di sicurezza e garantire l'alta disponibilità.
• Eseguire la debug e risolvere i problemi comuni di Spark.

In questa formazione live guidata da un istruttore in Italia, i partecipanti impareranno come utilizzare Python e Spark insieme per analizzare Big Data, lavorando su esercizi pratici.

Alla fine di questa formazione, i partecipanti saranno in grado di:

• Imparare come utilizzare Spark con Python per analizzare Big Data.
• Lavorare su esercizi che simulano casi del mondo reale.
• Utilizzare diversi strumenti e tecniche per l'analisi di Big Data con PySpark.

Questo corso pratico tenuto da istruttori in Italia (online o in sede) si rivolge agli sviluppatori che desiderano utilizzare e integrare Spark, Hadoop e Python al fine di elaborare, analizzare e trasformare insiemi di dati complessi e di grandi dimensioni.

Al termine del corso i partecipanti saranno in grado di:

• Configurare l’ambiente necessario per iniziare l’elaborazione dei big data con Spark, Hadoop e Python.
• Comprendere le caratteristiche, i componenti principali e l’architettura di Spark e Hadoop.
• Imparare a integrare Spark, Hadoop e Python nell’ambito dell’elaborazione dei big data.
• Esplorare gli strumenti presenti nell’ecosistema Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Flume).
• Sviluppare sistemi di raccomandazione basati su filtraggio collaborativo simili a quelli adottati da Netflix, YouTube, Amazon, Spotify e Google.
• Utilizzare Apache Mahout per scalare gli algoritmi di machine learning.