Corso di formazione Fondamenti di Apache Spark

Questo corso pratico, tenuto da un istruttore <in loc> (online o in presenza), si rivolge a data scientist ed ingegneri di livello intermedio che desiderano utilizzare Google Colab e Apache Spark per l’elaborazione e l’analisi dei big data.

Al termine del corso, i partecipanti saranno in grado di:

• Configurare un ambiente per l’elaborazione dei big data tramite Google Colab e Spark.
• Elaborare e analizzare in modo efficiente grandi quantità di dati con Apache Spark.
• Visualizzare i dati di grandi dimensioni all’interno di un ambiente collaborativo.
• Integrare Apache Spark con strumenti basati sul cloud.

Questo corso live tenuto da un istruttore (online o in presenza) si rivolge a ingegneri dei dati, analisti dati e professionisti del settore che desiderano utilizzare Databricks e PySpark per creare pipeline di dati scalabili e migrare workflow SQL esistenti.

Questo corso offre un’introduzione pratica alla creazione di flussi di lavoro per l'elaborazione dei dati e l'apprendimento automatico in modo scalabile, sfruttando PySpark. I partecipanti acquisiranno conoscenze su come Apache Spark si inserisca negli attuali ecosistemi di Big Data e sulle modalità più efficaci per elaborare set di dati di grandi dimensioni grazie ai principi del calcolo distribuito.

Questo corso pratico di tre giorni si concentra sulla creazione e ottimizzazione di carichi di lavoro per l'elaborazione dati efficienti utilizzando PySpark, Pandas e Polars in ambienti basati su Kubernetes.

I partecipanti acquisiranno una comprensione pratica di come le applicazioni Spark vengano eseguite su Kubernetes e di come le decisioni di configurazione a livello applicativo influenzino le prestazioni, la scalabilità, il consumo delle risorse e i costi. Il corso copre aree chiave di ottimizzazione, tra cui la dimensionamento degli esecutori, l'allocazione della memoria, l'allocazione dinamica, le strategie di partizionamento, il comportamento dello shuffle, i problemi legati ai file di piccole dimensioni e l'elaborazione efficiente di Parquet.

Il corso affronta anche le sfide comuni incontrate nell'uso di Pandas, inclusi i limiti di memoria e i guasti per esaurimento della memoria (out-of-memory), e introduce Polars come alternativa ad alte prestazioni per specifici carichi di lavoro di elaborazione dati. Attraverso esercizi pratici, i partecipanti diagnosticheranno problemi di prestazioni e memoria, confronteranno diverse strategie di configurazione e applicheranno tecniche di ottimizzazione a scenari realistici di ETL e machine learning.

L'accento è posto su decisioni pratiche: comprendere come identificare i colli di bottiglia, selezionare lo strumento appropriato, configurare Spark in modo efficiente e bilanciare le prestazioni con il consumo delle risorse infrastrutturali e i costi.

Questa formazione dal vivo, guidata da un istruttore, su Italia (online o in sede), è rivolta a system administrators di livello principiante a intermedio che desiderano distribuire, mantenere e ottimizzare i cluster Spark.

A fine formazione, i partecipanti saranno in grado di:

• Installare e configurare Apache Spark in vari ambienti.
• Gestire le risorse del cluster e monitorare le applicazioni Spark.
• Ottimizzare le prestazioni dei cluster Spark.
• Implementare misure di sicurezza e garantire l'alta disponibilità.
• Eseguire la debug e risolvere i problemi comuni di Spark.

Questa formazione pratica in Italia chiarisce i concetti di Apache Spark, coprendo RDD, DataFrames e API Python/Scala. I partecipanti padroneggeranno il deployment nel cloud con Databricks, AWS EMR e Glue, acquisendo competenze pratiche per affrontare efficacemente le attività reali di data engineering e DevOps.

In questa formazione live guidata da un istruttore in Italia, i partecipanti impareranno come utilizzare Python e Spark insieme per analizzare Big Data, lavorando su esercizi pratici.

Alla fine di questa formazione, i partecipanti saranno in grado di:

• Imparare come utilizzare Spark con Python per analizzare Big Data.
• Lavorare su esercizi che simulano casi del mondo reale.
• Utilizzare diversi strumenti e tecniche per l'analisi di Big Data con PySpark.

Questo corso pratico tenuto da istruttori in Italia (online o in sede) si rivolge agli sviluppatori che desiderano utilizzare e integrare Spark, Hadoop e Python al fine di elaborare, analizzare e trasformare insiemi di dati complessi e di grandi dimensioni.

Al termine del corso i partecipanti saranno in grado di:

• Configurare l’ambiente necessario per iniziare l’elaborazione dei big data con Spark, Hadoop e Python.
• Comprendere le caratteristiche, i componenti principali e l’architettura di Spark e Hadoop.
• Imparare a integrare Spark, Hadoop e Python nell’ambito dell’elaborazione dei big data.
• Esplorare gli strumenti presenti nell’ecosistema Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Flume).
• Sviluppare sistemi di raccomandazione basati su filtraggio collaborativo simili a quelli adottati da Netflix, YouTube, Amazon, Spotify e Google.
• Utilizzare Apache Mahout per scalare gli algoritmi di machine learning.

Questa formazione dal vivo, guidata da un istruttore, in Italia copre la piattaforma Stratio, concentrandosi sui moduli Rocket e Intelligence con PySpark. I partecipanti padroneggeranno l'acquisizione, la trasformazione e l'analisi avanzata dei dati, acquisendo competenze pratiche nei loop, nelle UDF e nei flussi di lavoro aziendali dei dati.