Corso di formazione Integrazione di Big Data con Talend

Questo corso pratico, tenuto da un istruttore <in loc> (online o in presenza), si rivolge a data scientist ed ingegneri di livello intermedio che desiderano utilizzare Google Colab e Apache Spark per l’elaborazione e l’analisi dei big data.

Al termine del corso, i partecipanti saranno in grado di:

• Configurare un ambiente per l’elaborazione dei big data tramite Google Colab e Spark.
• Elaborare e analizzare in modo efficiente grandi quantità di dati con Apache Spark.
• Visualizzare i dati di grandi dimensioni all’interno di un ambiente collaborativo.
• Integrare Apache Spark con strumenti basati sul cloud.

Questo corso live tenuto da un istruttore (online o in presenza) si rivolge a ingegneri dei dati, analisti dati e professionisti del settore che desiderano utilizzare Databricks e PySpark per creare pipeline di dati scalabili e migrare workflow SQL esistenti.

Questo corso offre un’introduzione pratica alla creazione di flussi di lavoro per l'elaborazione dei dati e l'apprendimento automatico in modo scalabile, sfruttando PySpark. I partecipanti acquisiranno conoscenze su come Apache Spark si inserisca negli attuali ecosistemi di Big Data e sulle modalità più efficaci per elaborare set di dati di grandi dimensioni grazie ai principi del calcolo distribuito.

Questo corso pratico di tre giorni si concentra sulla creazione e ottimizzazione di carichi di lavoro per l'elaborazione dati efficienti utilizzando PySpark, Pandas e Polars in ambienti basati su Kubernetes.

I partecipanti acquisiranno una comprensione pratica di come le applicazioni Spark vengano eseguite su Kubernetes e di come le decisioni di configurazione a livello applicativo influenzino le prestazioni, la scalabilità, il consumo delle risorse e i costi. Il corso copre aree chiave di ottimizzazione, tra cui la dimensionamento degli esecutori, l'allocazione della memoria, l'allocazione dinamica, le strategie di partizionamento, il comportamento dello shuffle, i problemi legati ai file di piccole dimensioni e l'elaborazione efficiente di Parquet.

Il corso affronta anche le sfide comuni incontrate nell'uso di Pandas, inclusi i limiti di memoria e i guasti per esaurimento della memoria (out-of-memory), e introduce Polars come alternativa ad alte prestazioni per specifici carichi di lavoro di elaborazione dati. Attraverso esercizi pratici, i partecipanti diagnosticheranno problemi di prestazioni e memoria, confronteranno diverse strategie di configurazione e applicheranno tecniche di ottimizzazione a scenari realistici di ETL e machine learning.

L'accento è posto su decisioni pratiche: comprendere come identificare i colli di bottiglia, selezionare lo strumento appropriato, configurare Spark in modo efficiente e bilanciare le prestazioni con il consumo delle risorse infrastrutturali e i costi.

Questo corso formativo dal vivo, condotto da istruttori in Italia (online o in presenza), è pensato per ingegneri che intendono impostare e utilizzare il sistema Apache Spark al fine di gestire grandi quantità di dati.

Al termine del corso i partecipanti saranno in grado di:

• Installare e configurare Apache Spark.
• Elaborare e analizzare rapidamente insiemi di dati molto voluminosi.
• Capire le differenze tra Apache Spark e Hadoop MapReduce, nonché quando impiegarli.
• Integrare Apache Spark con altri strumenti di machine learning.

Questa formazione dal vivo, guidata da un istruttore, su Italia (online o in sede), è rivolta a system administrators di livello principiante a intermedio che desiderano distribuire, mantenere e ottimizzare i cluster Spark.

A fine formazione, i partecipanti saranno in grado di:

• Installare e configurare Apache Spark in vari ambienti.
• Gestire le risorse del cluster e monitorare le applicazioni Spark.
• Ottimizzare le prestazioni dei cluster Spark.
• Implementare misure di sicurezza e garantire l'alta disponibilità.
• Eseguire la debug e risolvere i problemi comuni di Spark.

In questa formazione live guidata da un istruttore in Italia, i partecipanti impareranno come utilizzare Python e Spark insieme per analizzare Big Data, lavorando su esercizi pratici.

Alla fine di questa formazione, i partecipanti saranno in grado di:

• Imparare come utilizzare Spark con Python per analizzare Big Data.
• Lavorare su esercizi che simulano casi del mondo reale.
• Utilizzare diversi strumenti e tecniche per l'analisi di Big Data con PySpark.

Questo corso pratico tenuto da istruttori in Italia (online o in sede) si rivolge agli sviluppatori che desiderano utilizzare e integrare Spark, Hadoop e Python al fine di elaborare, analizzare e trasformare insiemi di dati complessi e di grandi dimensioni.

Al termine del corso i partecipanti saranno in grado di:

• Configurare l’ambiente necessario per iniziare l’elaborazione dei big data con Spark, Hadoop e Python.
• Comprendere le caratteristiche, i componenti principali e l’architettura di Spark e Hadoop.
• Imparare a integrare Spark, Hadoop e Python nell’ambito dell’elaborazione dei big data.
• Esplorare gli strumenti presenti nell’ecosistema Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Flume).
• Sviluppare sistemi di raccomandazione basati su filtraggio collaborativo simili a quelli adottati da Netflix, YouTube, Amazon, Spotify e Google.
• Utilizzare Apache Mahout per scalare gli algoritmi di machine learning.

Questo corso formativo, tenuto da un istruttore <in loc> (online o in presenza), è pensato per amministratori di sistema, data scientist e analisti aziendali che desiderano configurare Talend Administration Center al fine di distribuire e gestire i ruoli e le attività all’interno dell’azienda.

Al termine del corso, i partecipanti saranno in grado di:

• Installare e configurare Talend Administration Center.
• Comprendere e applicare le basi della gestione di Talend.
• Creare, distribuire ed eseguire progetti aziendali o attività all’interno di Talend.
• Monitorare la sicurezza dei set di dati e sviluppare procedure operative basate sul framework TAC.
• Ottenere una comprensione più approfondita delle applicazioni legate al big data.

Questo corso formativo dal vivo, tenuto da istruttori Italia (online o in sede), è pensato per analisti di dati di livello principiante ed intermedio che desiderano acquisire competenze avanzate nella gestione e nel miglioramento della qualità dei dati mediante Talend Data Stewardship.

Al termine del corso, i partecipanti saranno in grado di:

• Comprendere appieno il ruolo della stewardship dei dati nel mantenimento della loro qualità.
• Utilizzare Talend Data Stewardship per gestire le attività legate alla qualità dei dati.
• Creare, assegnare e gestire compiti all’interno di Talend Data Stewardship, inclusa la personalizzazione dei flussi di lavoro.
• Sfruttare le funzionalità di reportistica e monitoraggio dello strumento per tenere traccia della qualità dei dati e delle attività di stewardship.

In questo corso formativo con docente tenutosi in Italia, i partecipanti apprenderanno come utilizzare Talend Open Studio per ESB per creare, collegare, gestire e mediare tra i vari servizi.

Al termine del corso, i partecipanti saranno in grado di:

• Integrare, potenziare e distribuire tecnologie ESB come pacchetti unici in diversi ambienti di deployment.
• Comprendere ed utilizzare i componenti più comuni di Talend Open Studio.
• Integrare qualsiasi applicazione, database, API o servizio web.
• Effettuare l’integrazione senza problemi tra sistemi e applicazioni eterogenee.
• Incorporare librerie Java esistenti per ampliare i progetti.
• Sfruttare componenti e codice forniti dalla comunità per arricchire ulteriormente i progetti.
• Integrare rapidamente sistemi, applicazioni e fonti dati in un ambiente Eclipse basato su drag-and-drop.
• Ridurre i tempi di sviluppo e i costi di manutenzione grazie alla generazione automatica di codice ottimizzato e riutilizzabile.