Corso di formazione Python, Spark e Hadoop per l'elaborazione dei big data

Questo corso pratico, tenuto da un istruttore <in loc> (online o in presenza), si rivolge a data scientist ed ingegneri di livello intermedio che desiderano utilizzare Google Colab e Apache Spark per l’elaborazione e l’analisi dei big data.

Al termine del corso, i partecipanti saranno in grado di:

• Configurare un ambiente per l’elaborazione dei big data tramite Google Colab e Spark.
• Elaborare e analizzare in modo efficiente grandi quantità di dati con Apache Spark.
• Visualizzare i dati di grandi dimensioni all’interno di un ambiente collaborativo.
• Integrare Apache Spark con strumenti basati sul cloud.

Questo corso live tenuto da un istruttore (online o in presenza) si rivolge a ingegneri dei dati, analisti dati e professionisti del settore che desiderano utilizzare Databricks e PySpark per creare pipeline di dati scalabili e migrare workflow SQL esistenti.

Questo corso offre un’introduzione pratica alla creazione di flussi di lavoro per l'elaborazione dei dati e l'apprendimento automatico in modo scalabile, sfruttando PySpark. I partecipanti acquisiranno conoscenze su come Apache Spark si inserisca negli attuali ecosistemi di Big Data e sulle modalità più efficaci per elaborare set di dati di grandi dimensioni grazie ai principi del calcolo distribuito.

Questo corso pratico di tre giorni si concentra sulla creazione e ottimizzazione di carichi di lavoro per l'elaborazione dati efficienti utilizzando PySpark, Pandas e Polars in ambienti basati su Kubernetes.

I partecipanti acquisiranno una comprensione pratica di come le applicazioni Spark vengano eseguite su Kubernetes e di come le decisioni di configurazione a livello applicativo influenzino le prestazioni, la scalabilità, il consumo delle risorse e i costi. Il corso copre aree chiave di ottimizzazione, tra cui la dimensionamento degli esecutori, l'allocazione della memoria, l'allocazione dinamica, le strategie di partizionamento, il comportamento dello shuffle, i problemi legati ai file di piccole dimensioni e l'elaborazione efficiente di Parquet.

Il corso affronta anche le sfide comuni incontrate nell'uso di Pandas, inclusi i limiti di memoria e i guasti per esaurimento della memoria (out-of-memory), e introduce Polars come alternativa ad alte prestazioni per specifici carichi di lavoro di elaborazione dati. Attraverso esercizi pratici, i partecipanti diagnosticheranno problemi di prestazioni e memoria, confronteranno diverse strategie di configurazione e applicheranno tecniche di ottimizzazione a scenari realistici di ETL e machine learning.

L'accento è posto su decisioni pratiche: comprendere come identificare i colli di bottiglia, selezionare lo strumento appropriato, configurare Spark in modo efficiente e bilanciare le prestazioni con il consumo delle risorse infrastrutturali e i costi.

Questo corso formativo dal vivo, condotto da istruttori in Italia (online o in presenza), è pensato per ingegneri che intendono impostare e utilizzare il sistema Apache Spark al fine di gestire grandi quantità di dati.

Al termine del corso i partecipanti saranno in grado di:

• Installare e configurare Apache Spark.
• Elaborare e analizzare rapidamente insiemi di dati molto voluminosi.
• Capire le differenze tra Apache Spark e Hadoop MapReduce, nonché quando impiegarli.
• Integrare Apache Spark con altri strumenti di machine learning.

Questa formazione dal vivo, guidata da un istruttore, su Italia (online o in sede), è rivolta a system administrators di livello principiante a intermedio che desiderano distribuire, mantenere e ottimizzare i cluster Spark.

A fine formazione, i partecipanti saranno in grado di:

• Installare e configurare Apache Spark in vari ambienti.
• Gestire le risorse del cluster e monitorare le applicazioni Spark.
• Ottimizzare le prestazioni dei cluster Spark.
• Implementare misure di sicurezza e garantire l'alta disponibilità.
• Eseguire la debug e risolvere i problemi comuni di Spark.

In questa formazione live guidata da un istruttore in Italia, i partecipanti impareranno come utilizzare Python e Spark insieme per analizzare Big Data, lavorando su esercizi pratici.

Alla fine di questa formazione, i partecipanti saranno in grado di:

• Imparare come utilizzare Spark con Python per analizzare Big Data.
• Lavorare su esercizi che simulano casi del mondo reale.
• Utilizzare diversi strumenti e tecniche per l'analisi di Big Data con PySpark.