Big Data Formazione in Milano

Questo corso pratico, tenuto da un istruttore <in loc> (online o in presenza), si rivolge a data scientist ed ingegneri di livello intermedio che desiderano utilizzare Google Colab e Apache Spark per l’elaborazione e l’analisi dei big data.

Al termine del corso, i partecipanti saranno in grado di:

• Configurare un ambiente per l’elaborazione dei big data tramite Google Colab e Spark.
• Elaborare e analizzare in modo efficiente grandi quantità di dati con Apache Spark.
• Visualizzare i dati di grandi dimensioni all’interno di un ambiente collaborativo.
• Integrare Apache Spark con strumenti basati sul cloud.

I partecipanti che completano questo corso formativo in diretta tenuto da un istruttore Milano otterranno una comprensione concreta e applicabile del Big Data, nonché delle tecnologie, metodologie e strumenti ad esso correlati.

Avranno l’opportunità di applicare tali nozioni attraverso esercizi pratici; inoltre, l’interazione tra i partecipanti e il feedback dell’istruttore sono componenti essenziali del percorso formativo.

Il corso si apre con una introduzione ai concetti di base del Big Data, proseguendo poi con i linguaggi di programmazione e le metodologie impiegate nell’analisi dei dati. Si tratteranno infine gli strumenti e le infrastrutture che consentono l’archiviazione, l’elaborazione distribuita e la scalabilità del Big Data.

Questo corso dal vivo tenuto da istruttori in Milano (online o in sede) è rivolto a professionisti dei dati con competenze avanzate, che desiderano ottimizzare i processi di elaborazione e garantire la qualità e integrità dei dati implementando soluzioni affidabili per l’analisi su larga scala.

Alla fine del corso, i partecipanti saranno in grado di:

• Comprendere a fondo l’architettura di Iceberg, inclusa la gestione dei metadati e la struttura dei file.
• Configurare Iceberg per ottimizzare le prestazioni in diversi ambienti ed integrarlo con molteplici motori di elaborazione dati.
• Gestire tabelle Iceberg su larga scala, applicare modifiche complesse agli schemi e gestire l’evoluzione delle partizioni.
• Padroneggiare tecniche utili a migliorare le prestazioni delle query e l’efficienza nella lettura di enormi volumi di dati.
• Implementare misure per assicurare la coerenza dei dati, gestire correttamente le transazioni e superare eventuali problemi negli ambienti distribuiti.

Questo corso formativo, tenuto da un istruttore ed erogato in modalità live Milano (in presenza o online), si rivolge a professionisti del settore a livello principiante che desiderano acquisire le conoscenze e le competenze necessarie per utilizzare efficacemente Apache Iceberg nella gestione di dataset su larga scala, nel mantenimento dell’integrità dei dati e nell’ottimizzazione dei flussi di elaborazione.

Al termine del corso, i partecipanti saranno in grado di:

• Comprendere a fondo l’architettura, le caratteristiche e i vantaggi offerti da Apache Iceberg.
• Conoscere i formati tabellari, la partizionamento, l’evoluzione degli schemi e le funzionalità di “time travel”.
• Installare e configurare Apache Iceberg in diversi ambienti.
• Creare, gestire e manipolare tabelle Iceberg.
• Comprendere i processi di migrazione dei dati da altri formati tabellari ad Apache Iceberg.

Questo corso di formazione dal vivo, tenuto da istruttori Milano (online o in presenza), è rivolto a professionisti IT di livello intermedio che desiderano perfezionare le proprie competenze in ambito architettura dei dati, governance, cloud computing e tecnologie legate ai Big Data. L’obiettivo è consentire loro di gestire ed analizzare correttamente grandi volumi di dati per attività di migrazione all’interno delle proprie aziende.

Al termine del corso, i partecipanti saranno in grado di:

• Comprendere i concetti fondamentali e i componenti essenziali delle varie architetture dei dati.
• Acquisire una conoscenza approfondita dei principi di governance dei dati e del loro ruolo nei contesti normativi.
• Implementare e gestire quadri di riferimento per la governance dei dati, come Dama e Togaf.
• Sfruttare le piattaforme cloud per un’archiviazione, elaborazione e gestione efficiente dei dati.

Questo corso formativo dal vivo, tenuto da un istruttore Milano (online o in presenza), è indirizzato a ingegneri dei dati di livello intermedio desiderosi di imparare ad utilizzare Azure Data Lake Storage Gen2 per realizzare soluzioni efficaci nell'analisi dei dati.

Alla fine del corso, i partecipanti saranno in grado di:

• Comprendere l'architettura e le principali funzionalità di Azure Data Lake Storage Gen2.
• Ottimizzare l'archiviazione e l'accesso ai dati in termini di costi ed efficienza.
• Integrare Azure Data Lake Storage Gen2 con altri servizi di Azure per finalità analitiche e di elaborazione dei dati.
• Sviluppare soluzioni basate sull'API di Azure Data Lake Storage Gen2.
• Risolvere i problemi più comuni e ottimizzare le strategie di archiviazione.

Questo corso pratico tenuto da istruttori in Milano (online o in sede) si rivolge agli sviluppatori che desiderano utilizzare e integrare Spark, Hadoop e Python al fine di elaborare, analizzare e trasformare insiemi di dati complessi e di grandi dimensioni.

Al termine del corso i partecipanti saranno in grado di:

• Configurare l’ambiente necessario per iniziare l’elaborazione dei big data con Spark, Hadoop e Python.
• Comprendere le caratteristiche, i componenti principali e l’architettura di Spark e Hadoop.
• Imparare a integrare Spark, Hadoop e Python nell’ambito dell’elaborazione dei big data.
• Esplorare gli strumenti presenti nell’ecosistema Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Flume).
• Sviluppare sistemi di raccomandazione basati su filtraggio collaborativo simili a quelli adottati da Netflix, YouTube, Amazon, Spotify e Google.
• Utilizzare Apache Mahout per scalare gli algoritmi di machine learning.

Questo corso formativo dal vivo, tenuto da istruttori in Milano (online o in sede), si rivolge a professionisti IT di livello intermedio che desiderano acquisire una conoscenza approfondita di IBM DataStage sia dal punto di vista amministrativo sia da quello dello sviluppo. L’obiettivo è abilitarli a gestire e sfruttare efficacemente questo strumento nei rispettivi contesti lavorativi.

Al termine del corso, i partecipanti saranno in grado di:

• Comprendere i concetti fondamentali di DataStage.
• Installare, configurare e gestire correttamente gli ambienti DataStage.
• Collegarsi a diverse fonti di dati ed estrarre informazioni in modo efficiente da database, file semplici ed altre sorgenti esterne.
• Applicare tecniche efficaci per il caricamento dei dati.

Questa formazione dal vivo, guidata da un istruttore, su Milano (online o in sede), è rivolta a system administrators di livello principiante a intermedio che desiderano distribuire, mantenere e ottimizzare i cluster Spark.

A fine formazione, i partecipanti saranno in grado di:

• Installare e configurare Apache Spark in vari ambienti.
• Gestire le risorse del cluster e monitorare le applicazioni Spark.
• Ottimizzare le prestazioni dei cluster Spark.
• Implementare misure di sicurezza e garantire l'alta disponibilità.
• Eseguire la debug e risolvere i problemi comuni di Spark.

In questa formazione live guidata da un istruttore in Milano, i partecipanti impareranno come utilizzare Python e Spark insieme per analizzare Big Data, lavorando su esercizi pratici.

Alla fine di questa formazione, i partecipanti saranno in grado di:

• Imparare come utilizzare Spark con Python per analizzare Big Data.
• Lavorare su esercizi che simulano casi del mondo reale.
• Utilizzare diversi strumenti e tecniche per l'analisi di Big Data con PySpark.

In questo corso formativo tenuto da istruttori, i partecipanti impareranno come approcciarsi alle tecnologie Big Data, valutarne l’impatto sui processi operativi e sulle politiche istituzionali, e implementarle per individuare attività criminali ed evitarne la commissione. Verranno inoltre analizzati casi studio tratti da organizzazioni di polizia internazionali al fine di comprendere i metodi adottati, le difficoltà affrontate e gli esiti raggiunti.

Al termine del percorso formativo, i partecipanti saranno in grado di:

• Combinare le tecnologie Big Data con i tradizionali metodi di raccolta dati al fine di ricostruire il quadro delle indagini.
• Implementare soluzioni industriali per l’archiviazione e l’elaborazione dei Big Data finalizzate all’analisi dei dati.
• Elaborare una proposta riguardante gli strumenti e i processi più idonei per introdurre un approccio basato sui dati nelle indagini criminali.

Questo corso live tenuto da un istruttore (online o in presenza) si rivolge a ingegneri dei dati, analisti dati e professionisti del settore che desiderano utilizzare Databricks e PySpark per creare pipeline di dati scalabili e migrare workflow SQL esistenti.

Questo corso offre un’introduzione pratica alla creazione di flussi di lavoro per l'elaborazione dei dati e l'apprendimento automatico in modo scalabile, sfruttando PySpark. I partecipanti acquisiranno conoscenze su come Apache Spark si inserisca negli attuali ecosistemi di Big Data e sulle modalità più efficaci per elaborare set di dati di grandi dimensioni grazie ai principi del calcolo distribuito.

Questo corso pratico di tre giorni si concentra sulla creazione e ottimizzazione di carichi di lavoro per l'elaborazione dati efficienti utilizzando PySpark, Pandas e Polars in ambienti basati su Kubernetes.

I partecipanti acquisiranno una comprensione pratica di come le applicazioni Spark vengano eseguite su Kubernetes e di come le decisioni di configurazione a livello applicativo influenzino le prestazioni, la scalabilità, il consumo delle risorse e i costi. Il corso copre aree chiave di ottimizzazione, tra cui la dimensionamento degli esecutori, l'allocazione della memoria, l'allocazione dinamica, le strategie di partizionamento, il comportamento dello shuffle, i problemi legati ai file di piccole dimensioni e l'elaborazione efficiente di Parquet.

Il corso affronta anche le sfide comuni incontrate nell'uso di Pandas, inclusi i limiti di memoria e i guasti per esaurimento della memoria (out-of-memory), e introduce Polars come alternativa ad alte prestazioni per specifici carichi di lavoro di elaborazione dati. Attraverso esercizi pratici, i partecipanti diagnosticheranno problemi di prestazioni e memoria, confronteranno diverse strategie di configurazione e applicheranno tecniche di ottimizzazione a scenari realistici di ETL e machine learning.

L'accento è posto su decisioni pratiche: comprendere come identificare i colli di bottiglia, selezionare lo strumento appropriato, configurare Spark in modo efficiente e bilanciare le prestazioni con il consumo delle risorse infrastrutturali e i costi.

Questo corso formativo dal vivo, condotto da istruttori in Milano (online o in presenza), è pensato per ingegneri che intendono impostare e utilizzare il sistema Apache Spark al fine di gestire grandi quantità di dati.

Al termine del corso i partecipanti saranno in grado di:

• Installare e configurare Apache Spark.
• Elaborare e analizzare rapidamente insiemi di dati molto voluminosi.
• Capire le differenze tra Apache Spark e Hadoop MapReduce, nonché quando impiegarli.
• Integrare Apache Spark con altri strumenti di machine learning.

Questo corso formativo in presenza Milano (in modalità online o in loco) è destinato a professionisti tecnici che desiderano impiegare Talend Open Studio for Big Data per ottimizzare l’acquisizione e la gestione di grandi volumi di dati.

Alla conclusione del corso, i partecipanti saranno in grado di:

• Installare e configurare Talend Open Studio for Big Data.
• Connettersi a sistemi di Big Data come Cloudera, HortonWorks, MapR, Amazon EMR e Apache.
• Comprendere ed impostare i componenti e i connettori dedicati al Big Data presenti in Open Studio.
• Configurare i parametri affinché venga generato automaticamente il codice MapReduce.
• Utilizzare l’interfaccia drag-and-drop di Open Studio per eseguire processi su Hadoop.
• Creare prototipi di pipeline per la gestione del Big Data.
• Automatizzare i progetti di integrazione dei dati a grande scala.