Big Data Formazione in Italia

Questo corso pratico, tenuto da un istruttore <in loc> (online o in presenza), si rivolge a data scientist ed ingegneri di livello intermedio che desiderano utilizzare Google Colab e Apache Spark per l’elaborazione e l’analisi dei big data.

Al termine del corso, i partecipanti saranno in grado di:

• Configurare un ambiente per l’elaborazione dei big data tramite Google Colab e Spark.
• Elaborare e analizzare in modo efficiente grandi quantità di dati con Apache Spark.
• Visualizzare i dati di grandi dimensioni all’interno di un ambiente collaborativo.
• Integrare Apache Spark con strumenti basati sul cloud.

Stratio è una piattaforma incentrata sui dati che integra big data, intelligenza artificiale e governance in un’unica soluzione. I suoi moduli Rocket e Intelligence consentono un’esplorazione rapida dei dati, la loro trasformazione e l’analisi avanzata negli ambienti aziendali.

Questo corso di formazione dal vivo, tenuto da istruttori (online o in presenza), si rivolge a professionisti del settore dati di livello intermedio desiderosi di utilizzare efficacemente i moduli Rocket e Intelligence in Stratio tramite PySpark. Si approfondiranno strutture cicliche, funzioni definite dall’utente e logiche di elaborazione dei dati.

Al termine del corso, i partecipanti saranno in grado di:

• Navigare e operare all’interno della piattaforma Stratio utilizzando i moduli Rocket e Intelligence.
• Impiegare PySpark nell’ambito dell’inserimento, trasformazione e analisi dei dati.
• Utilizzare cicli logici e istruzioni condizionali per gestire flussi di lavoro sui dati e compiti di ingegneria delle feature.
• Creare e gestire funzioni definite dall’utente (UDF) da riutilizzare nei processi di analisi con PySpark.

Formato del corso

• Lezioni interattive e dibattiti guidati.
• Numerosi esercizi pratici e attività di applicazione.
• Implementazioni pratiche in un ambiente laboratoriale live.

Opzioni di personalizzazione del corso

• Per richiedere un programma formativo su misura, contattateci per concordare i dettagli.

Il Data Warehousing consiste nella progettazione, creazione e gestione di repository centralizzati di dati utilizzati per l’analisi, la generazione di report e il supporto alle decisioni aziendali.

Questo corso formativo dal vivo, tenuto da un istruttore (in modalità online o in presenza), si rivolge a professionisti del settore dei dati di livello intermedio che desiderano modellare dati dimensionali, realizzare pipeline ETL robuste e ottimizzare i carichi di lavoro analitici.

Al termine del corso, i partecipanti saranno in grado di:

• Spiegare i concetti e le architetture fondamentali del data warehousing.
• Progettare modelli dimensionali e scegliere tra schemi a stella o a fiocco di neve.
• Creare e gestire in modo affidabile pipeline ETL ed ELT.
• Distinguere i carichi di lavoro OLTP da quelli OLAP, ottimizzandoli per l’analisi.

Modalità del corso

• Lezioni interattive e discussioni guidate.
• Numerosi esercizi pratici per consolidare le competenze.
• Implementazione pratica in un ambiente di laboratorio reale.

Opzioni di personalizzazione del corso

• Per richiedere una sessione formativa su misura, non esitate a contattarci per concordare i dettagli.

I partecipanti che completano questo corso formativo in diretta tenuto da un istruttore Italia otterranno una comprensione concreta e applicabile del Big Data, nonché delle tecnologie, metodologie e strumenti ad esso correlati.

Avranno l’opportunità di applicare tali nozioni attraverso esercizi pratici; inoltre, l’interazione tra i partecipanti e il feedback dell’istruttore sono componenti essenziali del percorso formativo.

Il corso si apre con una introduzione ai concetti di base del Big Data, proseguendo poi con i linguaggi di programmazione e le metodologie impiegate nell’analisi dei dati. Si tratteranno infine gli strumenti e le infrastrutture che consentono l’archiviazione, l’elaborazione distribuita e la scalabilità del Big Data.

Greenplum è una piattaforma open source per l'elaborazione parallela su larga scala (MPP) progettata specificamente per analisi dati e ambienti informativi complessi.

Questo corso formativo, tenuto da istruttori esperti ed erogato in modalità online o in presenza, si rivolge a utenti tecnici di livello intermedio e avanzato che desiderano comprendere l’architettura interna di Greenplum, progettare modelli dati ottimizzati e utilizzare SQL ad alte prestazioni in contesti distribuiti.

Al termine del corso, i partecipanti saranno in grado di:

• Comprendere l’architettura “shared-nothing” e il modello di parallelismo di Greenplum.
• Progettare strutture di tabelle distribuite e strategie di partizionamento volte a ottimizzare le prestazioni delle query.
• Applicare tecniche avanzate di indicizzazione, formati di archiviazione e configurazione fisica dei dati.
• Interpretare correttamente i piani di esecuzione (EXPLAIN) e ottimizzare le query seguendo le migliori pratiche.

Modalità didattica

• Lezioni interattive e discussioni guidate.
• Numerosi esercizi pratici volti a consolidare le competenze acquisite.
• Applicazione concreta delle conoscenze in un ambiente di laboratorio reale.

Opzioni di personalizzazione del corso

• Per richiedere un percorso formativo su misura, vi invitiamo a contattarci per accordi specifici.

Greenplum è una piattaforma dati open source a parallelismo massivo basata su PostgreSQL, progettata per l’analisi avanzata e la gestione di data warehouse su larga scala.

Questo corso formativo dal vivo, tenuto da un istruttore (in modalità online o in presenza), si rivolge ad amministratori di livello intermedio che desiderano installare, configurare e gestire in modo efficace ambienti Greenplum, occupandosi anche degli aggiornamenti del sistema e della gestione delle librerie.

Al termine di questo corso, i partecipanti saranno in grado di:

• Installare e configurare un cluster Greenplum pronto per la produzione.
• Gestire gli aggiornamenti del sistema e applicare le patch in sicurezza.
• Amministrare correttamente le librerie Greenplum utilizzate per l’analisi e le estensioni.
• Eseguire attività di monitoraggio e risoluzione dei problemi nei sistemi Greenplum.

Modalità del corso

• Lezioni interattive e discussioni guidate.
• Esercitazioni pratiche su Greenplum in un ambiente di laboratorio controllato.
• Attività guidate focalizzate sull’impostazione del cluster, sugli aggiornamenti e sulle estensioni del sistema.

Opzioni di personalizzazione del corso

• Per richiedere un percorso formativo personalizzato in base al vostro ambiente o alla piattaforma dati, vi invitiamo a contattarci.

Questo corso dal vivo tenuto da istruttori in Italia (online o in sede) è rivolto a professionisti dei dati con competenze avanzate, che desiderano ottimizzare i processi di elaborazione e garantire la qualità e integrità dei dati implementando soluzioni affidabili per l’analisi su larga scala.

Alla fine del corso, i partecipanti saranno in grado di:

• Comprendere a fondo l’architettura di Iceberg, inclusa la gestione dei metadati e la struttura dei file.
• Configurare Iceberg per ottimizzare le prestazioni in diversi ambienti ed integrarlo con molteplici motori di elaborazione dati.
• Gestire tabelle Iceberg su larga scala, applicare modifiche complesse agli schemi e gestire l’evoluzione delle partizioni.
• Padroneggiare tecniche utili a migliorare le prestazioni delle query e l’efficienza nella lettura di enormi volumi di dati.
• Implementare misure per assicurare la coerenza dei dati, gestire correttamente le transazioni e superare eventuali problemi negli ambienti distribuiti.

Questo corso formativo, tenuto da un istruttore ed erogato in modalità live Italia (in presenza o online), si rivolge a professionisti del settore a livello principiante che desiderano acquisire le conoscenze e le competenze necessarie per utilizzare efficacemente Apache Iceberg nella gestione di dataset su larga scala, nel mantenimento dell’integrità dei dati e nell’ottimizzazione dei flussi di elaborazione.

Al termine del corso, i partecipanti saranno in grado di:

• Comprendere a fondo l’architettura, le caratteristiche e i vantaggi offerti da Apache Iceberg.
• Conoscere i formati tabellari, la partizionamento, l’evoluzione degli schemi e le funzionalità di “time travel”.
• Installare e configurare Apache Iceberg in diversi ambienti.
• Creare, gestire e manipolare tabelle Iceberg.
• Comprendere i processi di migrazione dei dati da altri formati tabellari ad Apache Iceberg.

Questo corso di formazione dal vivo, tenuto da istruttori Italia (online o in presenza), è rivolto a professionisti IT di livello intermedio che desiderano perfezionare le proprie competenze in ambito architettura dei dati, governance, cloud computing e tecnologie legate ai Big Data. L’obiettivo è consentire loro di gestire ed analizzare correttamente grandi volumi di dati per attività di migrazione all’interno delle proprie aziende.

Al termine del corso, i partecipanti saranno in grado di:

• Comprendere i concetti fondamentali e i componenti essenziali delle varie architetture dei dati.
• Acquisire una conoscenza approfondita dei principi di governance dei dati e del loro ruolo nei contesti normativi.
• Implementare e gestire quadri di riferimento per la governance dei dati, come Dama e Togaf.
• Sfruttare le piattaforme cloud per un’archiviazione, elaborazione e gestione efficiente dei dati.

Questo corso formativo dal vivo, tenuto da un istruttore Italia (online o in presenza), è indirizzato a ingegneri dei dati di livello intermedio desiderosi di imparare ad utilizzare Azure Data Lake Storage Gen2 per realizzare soluzioni efficaci nell'analisi dei dati.

Alla fine del corso, i partecipanti saranno in grado di:

• Comprendere l'architettura e le principali funzionalità di Azure Data Lake Storage Gen2.
• Ottimizzare l'archiviazione e l'accesso ai dati in termini di costi ed efficienza.
• Integrare Azure Data Lake Storage Gen2 con altri servizi di Azure per finalità analitiche e di elaborazione dei dati.
• Sviluppare soluzioni basate sull'API di Azure Data Lake Storage Gen2.
• Risolvere i problemi più comuni e ottimizzare le strategie di archiviazione.

Questo corso pratico tenuto da istruttori in Italia (online o in sede) si rivolge agli sviluppatori che desiderano utilizzare e integrare Spark, Hadoop e Python al fine di elaborare, analizzare e trasformare insiemi di dati complessi e di grandi dimensioni.

Al termine del corso i partecipanti saranno in grado di:

• Configurare l’ambiente necessario per iniziare l’elaborazione dei big data con Spark, Hadoop e Python.
• Comprendere le caratteristiche, i componenti principali e l’architettura di Spark e Hadoop.
• Imparare a integrare Spark, Hadoop e Python nell’ambito dell’elaborazione dei big data.
• Esplorare gli strumenti presenti nell’ecosistema Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Flume).
• Sviluppare sistemi di raccomandazione basati su filtraggio collaborativo simili a quelli adottati da Netflix, YouTube, Amazon, Spotify e Google.
• Utilizzare Apache Mahout per scalare gli algoritmi di machine learning.

Il Big Data e l’Analisi Avanzata consistono nell’applicazione di tecniche e strumenti sofisticati per analizzare insiemi di dati estesi e complessi, al fine di ottenere informazioni utili e supportare le decisioni strategiche.

Questo corso formativo, tenuto da istruttori ed erogato in modalità online o in presenza, si rivolge a professionisti del settore dati di livello avanzato che desiderano sfruttare metodologie analitiche all’avanguardia e tecnologie legate al Big Data per eseguire analisi predittive, prescrittive e in tempo reale.

Al termine del corso, i partecipanti saranno in grado di:

• Progettare e implementare pipeline di elaborazione dati su larga scala, sia per dati strutturati che non strutturati.
• Applicare tecniche avanzate di machine learning e deep learning a insiemi di dati di grandi dimensioni.
• Sfruttare framework di calcolo distribuito per analisi in tempo reale e flussi di dati continui.
• Integrare le tecnologie di Big Data Analytics nei sistemi di business intelligence e presa delle decisioni.

Struttura del corso

• Lezioni interattive e discussioni guidate.
• Numerosi esercizi pratici per consolidare le conoscenze.
• Implementazione diretta in un ambiente di laboratorio reale.

Opzioni di personalizzazione del corso

• Per richiedere una formazione su misura, vi invitiamo a contattarci per concordare i dettagli.

Questo corso formativo dal vivo, tenuto da istruttori in Italia (online o in sede), si rivolge a professionisti IT di livello intermedio che desiderano acquisire una conoscenza approfondita di IBM DataStage sia dal punto di vista amministrativo sia da quello dello sviluppo. L’obiettivo è abilitarli a gestire e sfruttare efficacemente questo strumento nei rispettivi contesti lavorativi.

Al termine del corso, i partecipanti saranno in grado di:

• Comprendere i concetti fondamentali di DataStage.
• Installare, configurare e gestire correttamente gli ambienti DataStage.
• Collegarsi a diverse fonti di dati ed estrarre informazioni in modo efficiente da database, file semplici ed altre sorgenti esterne.
• Applicare tecniche efficaci per il caricamento dei dati.

Questo corso formativo dal vivo, tenuto da istruttori in Italia (online o in sede), si rivolge ad amministratori di sistema con competenze di livello principiante-intermedio che desiderano distribuire, gestire e ottimizzare cluster Spark.

Al termine del corso i partecipanti saranno in grado di:

• Installare e configurare Apache Spark in diversi ambienti.
• Gestione delle risorse del cluster e monitoraggio delle applicazioni Spark.
• Ottimizzazione delle prestazioni dei cluster Spark.
• Implementazione di misure di sicurezza e garanzia dell’alta disponibilità.
• Risoluzione dei problemi più comuni legati a Spark.

In questo corso pratico tenuto da istruttori in Italia, i partecipanti apprenderanno come combinare Python e Spark per analizzare i Big Data, impegnandosi in esercizi concreti.

Al termine del percorso formativo, saranno in grado di:

• Utilizzare Spark con Python nell’ambito dell’analisi dei Big Data.
• Eseguire esercizi che rispecchiano scenari reali.
• Adottare svariate tecniche e strumenti per l’elaborazione dei dati grazie a PySpark.

I progressi tecnologici e l’aumento costante della quantità di informazioni stanno trasformando i modelli operativi in numerosi settori, incluso quello pubblico. La produzione di dati governativi e la digitalizzazione degli archivi sono in forte crescita grazie alla diffusione capillare di dispositivi mobili, applicazioni, sensori intelligenti, soluzioni di cloud computing e portali accessibili ai cittadini. Con l’espansione e la crescente complessità delle informazioni digitali, anche le attività legate alla gestione, all’elaborazione, allo storage, alla sicurezza e alla conservazione dei dati si fanno più complesse. Nuovi strumenti per la raccolta, la ricerca, la scoperta e l’analisi permettono ora alle organizzazioni di estrarre informazioni significative anche da dati non strutturati. Il settore pubblico si trova oggi a una svolta: le istituzioni stanno comprendendo che i dati costituiscono un asset strategico e che devono proteggerli, utilizzarli al meglio ed analizzarli sia nella forma strutturata sia non strutturata per servire efficacemente la collettività e raggiungere gli obiettivi istituzionali. Mentre i dirigenti governativi si impegnano a trasformare le proprie organizzazioni in entità basate sui dati, stanno gettando le basi per individuare relazioni complesse tra eventi, persone, processi e informazioni.

Soluzioni di alto valore per la Pubblica Amministrazione potranno nascere dall’integrazione delle tecnologie più innovative:

• Dispositivi mobili e applicazioni
• Servizi cloud
• Tecnologie aziendali sociali e reti di collaborazione
• Big Data e analisi dati

I big data rappresentano una delle soluzioni strategiche per il settore pubblico, consentendo di adottare decisioni più informate grazie all’analisi di enormi quantità di dati – correlati o meno, strutturati o non strutturati.

Tuttavia, per raggiungere tali risultati non basta semplicemente accumulare grandi volumi di dati. "Per comprendere a fondo queste enormi quantità di big data sono necessari strumenti e tecnologie all’avanguardia in grado di analizzare e estrarre conoscenze utili da flussi informativi eterogenei", hanno scritto Tom Kalil e Fen Zhao dell’Ufficio per la Scienza e la Tecnologia della Casa Bianca nel loro blog.

La Casa Bianca ha dato un contributo significativo in questo senso nel 2012, istituendo l’Iniziativa Nazionale di Ricerca e Sviluppo sui Big Data; tale iniziativa ha stanziato oltre 200 milioni di dollari per valorizzare le potenzialità dei big data e sviluppare strumenti idonei alla loro analisi.

Le sfide legate ai big data sono pari, in difficoltà, alle opportunità che offrono. Una di queste è lo storage efficiente: considerando i bilanci governativi solitamente limitati, le agenzie devono contenere il costo per megabyte e garantire un accesso immediato ai dati da parte degli utenti. L’operazione di backup su larga scala rende ulteriormente complesso questo processo.

Un’altra grande sfida è l’analisi dei dati: molte agenzie utilizzano strumenti commerciali per gestire e analizzare montagne di informazioni, individuando trend che consentono un funzionamento più efficiente. Secondo uno studio recente realizzato da MeriTalk, i dirigenti IT federali ritengono che l’impiego dei big data possa permettere alle agenzie di risparmiare oltre 500 miliardi di dollari e allo stesso tempo raggiungere con successo i propri obiettivi istituzionali.

Alcune agenzie hanno sviluppato internamente strumenti specifici per l’analisi dei dati: ad esempio, il Gruppo di Analisi Dati Computazionali del Laboratorio Nazionale di Oak Ridge ha messo a disposizione di altre istituzioni il sistema Piranha; esso ha aiutato i ricercatori medici a identificare un indicatore predittivo per gli aneurismi dell’aorta, e viene impiegato anche in attività più ordinarie come la selezione dei candidati lavorativi mediante l’esame dei curricula.

In questo corso guidato da un istruttore, tenuto Italia, i partecipanti acquisiranno la mentalità corretta per l'utilizzo delle tecnologie dei Big Data, valuteranno il loro impatto sui processi operativi e le norme in atto, nonché ne implementeranno l’impiego finalizzato all’individuazione di attività criminali ed alla prevenzione dei reati. Si analizzeranno casi pratici di organizzazioni preposte all’applicazione della legge sparsi per il mondo, al fine di trarne informazioni utili sui metodi adottati, sulle difficoltà incontrate e sui risultati raggiunti.

Al termine del corso, i partecipanti saranno in grado di:

• Integrare le tecnologie dei Big Data con i tradizionali metodi di raccolta dati al fine di ricostruire un quadro coerente durante le indagini.
• Implementare soluzioni industriali per l’archiviazione e l’elaborazione dei Big Data destinati all’analisi dati.
• Redigere una proposta tecnica contenente gli strumenti e i processi più idonei a instaurare un approccio alla criminalità basato sui dati.

Il termine "Big Data" indica soluzioni pensate per memorizzare e elaborare insiemi di dati di grandi dimensioni. Inizialmente sviluppate da Google, queste soluzioni hanno poi evoluto il settore, dando origine a numerosi progetti simili, molti dei quali disponibili come software open source. R è un linguaggio di programmazione molto diffuso nel settore finanziario.

Panoramica del corso

Questo corso offre una introduzione pratica e strutturata alla creazione di sistemi di streaming di dati in tempo reale. Vengono trattati i concetti fondamentali, gli schemi architetturali e gli strumenti utilizzati a livello industriale per gestire grandi quantità di dati in continuo flusso. I partecipanti impareranno a progettare, implementare e ottimizzare pipeline di streaming tramite framework moderni. Il corso si sviluppa partendo da nozioni di base fino ad arrivare ad applicazioni concrete, consentendo agli studenti di realizzare in modo autonomo soluzioni operative e affidabili per l’elaborazione in tempo reale.

Modalità formativa

• Lezioni guidate dall’istruttore con spiegazioni chiare

 • Approfondimenti teorici accompagnati da esempi concreti tratti dalla realtà lavorativa

 • Dimostrazioni pratiche ed esercizi di programmazione

• Laboratori progressivi in linea con gli argomenti affrontati ogni giorno

 • Discussioni interattive e sessioni di domande e risposte

Obiettivi del corso

• Comprendere i concetti fondamentali dello streaming di dati in tempo reale e la relativa architettura dei sistemi

 • Distinguere tra modelli di elaborazione batch e di streaming

• Progettare pipeline scalabili e resilienti agli errori

• Utilizzare correttamente strumenti e framework distribuiti per lo streaming

• Applicare tecniche di elaborazione basate sull’ora di evento, finestre temporali e operazioni con stato persistente

Realizzare e ottimizzare soluzioni di elaborazione dati in tempo reale adatte alle esigenze aziendali

Apache NiFi è una piattaforma open source basata su flussi per l’integrazione dei dati e l’elaborazione degli eventi. Consente il instradamento automatico e in tempo reale dei dati, la loro trasformazione nonché la mediazione tra sistemi eterogenei, tutto grazie a un’interfaccia utente web altamente configurabile.

Questo corso pratico e guidato da istruttore (in sede o a distanza) è rivolto ad amministratori ed ingegneri di livello intermedio che desiderano implementare, gestire, proteggere e ottimizzare i flussi di dati in ambienti di produzione tramite NiFi.

Alla fine del corso i partecipanti saranno in grado di:

• Installare, configurare e mantenere cluster di Apache NiFi.
• Progettare e gestire flussi dati provenienti da fonti diverse e indirizzati verso destinazioni varie.
• Implementare logiche di automazione, instradamento e trasformazione dei dati nei flussi.
• Ottimizzare le prestazioni, monitorare l’operatività e risolvere eventuali problemi.

Formato del corso

• Lezioni interattive con analisi di architetture reali.
• Esercitazioni pratiche: creazione, distribuzione e gestione dei flussi.
• Attività basate su scenari concreti in un ambiente di laboratorio live.

Opzioni di personalizzazione del corso

• Per richiedere un corso su misura, non esitate a contattarci per concordare i dettagli.

Questo corso offre un’introduzione pratica alla creazione di flussi di lavoro per l'elaborazione dei dati e l'apprendimento automatico in modo scalabile, sfruttando PySpark. I partecipanti acquisiranno conoscenze su come Apache Spark si inserisca negli attuali ecosistemi di Big Data e sulle modalità più efficaci per elaborare set di dati di grandi dimensioni grazie ai principi del calcolo distribuito.

Questo corso formativo dal vivo, condotto da istruttori in Italia (online o in presenza), è pensato per ingegneri che intendono impostare e utilizzare il sistema Apache Spark al fine di gestire grandi quantità di dati.

Al termine del corso i partecipanti saranno in grado di:

• Installare e configurare Apache Spark.
• Elaborare e analizzare rapidamente insiemi di dati molto voluminosi.
• Capire le differenze tra Apache Spark e Hadoop MapReduce, nonché quando impiegarli.
• Integrare Apache Spark con altri strumenti di machine learning.

Inizialmente, la curva di apprendimento di Apache Spark risulta piuttosto ripida: è necessario un notevole impegno per ottenere i primi risultati. Questo corso ha proprio lo scopo di aiutare gli studenti a superare questa fase difficile. Al termine del percorso, i partecipanti conosceranno le nozioni fondamentali di Apache Spark; sapranno distinguere correttamente tra RDD e DataFrame, impareranno ad utilizzare le API in Python e Scala, comprenderanno il ruolo degli executor e delle task. Inoltre, seguendo le best practice del settore, il corso si concentra in modo particolare sul deployment nel cloud, con attenzione a Databricks e AWS. Gli studenti acquisiranno anche familiarità con le differenze tra AWS EMR e AWS Glue, l’ultimo servizio Spark messo a disposizione da Amazon Web Services.

DESTINATARI:

Ingegneri dei dati, professionisti DevOps, Data Scientist

Questo corso formativo in presenza Italia (in modalità online o in loco) è destinato a professionisti tecnici che desiderano impiegare Talend Open Studio for Big Data per ottimizzare l’acquisizione e la gestione di grandi volumi di dati.

Alla conclusione del corso, i partecipanti saranno in grado di:

• Installare e configurare Talend Open Studio for Big Data.
• Connettersi a sistemi di Big Data come Cloudera, HortonWorks, MapR, Amazon EMR e Apache.
• Comprendere ed impostare i componenti e i connettori dedicati al Big Data presenti in Open Studio.
• Configurare i parametri affinché venga generato automaticamente il codice MapReduce.
• Utilizzare l’interfaccia drag-and-drop di Open Studio per eseguire processi su Hadoop.
• Creare prototipi di pipeline per la gestione del Big Data.
• Automatizzare i progetti di integrazione dei dati a grande scala.