Corso di formazione Architettura e modellazione dei dati di Greenplum

Questo corso dal vivo tenuto da istruttori in Italia (online o in sede) è rivolto a professionisti dei dati con competenze avanzate, che desiderano ottimizzare i processi di elaborazione e garantire la qualità e integrità dei dati implementando soluzioni affidabili per l’analisi su larga scala.

Alla fine del corso, i partecipanti saranno in grado di:

• Comprendere a fondo l’architettura di Iceberg, inclusa la gestione dei metadati e la struttura dei file.
• Configurare Iceberg per ottimizzare le prestazioni in diversi ambienti ed integrarlo con molteplici motori di elaborazione dati.
• Gestire tabelle Iceberg su larga scala, applicare modifiche complesse agli schemi e gestire l’evoluzione delle partizioni.
• Padroneggiare tecniche utili a migliorare le prestazioni delle query e l’efficienza nella lettura di enormi volumi di dati.
• Implementare misure per assicurare la coerenza dei dati, gestire correttamente le transazioni e superare eventuali problemi negli ambienti distribuiti.

Questo corso formativo, tenuto da un istruttore ed erogato in modalità live Italia (in presenza o online), si rivolge a professionisti del settore a livello principiante che desiderano acquisire le conoscenze e le competenze necessarie per utilizzare efficacemente Apache Iceberg nella gestione di dataset su larga scala, nel mantenimento dell’integrità dei dati e nell’ottimizzazione dei flussi di elaborazione.

Al termine del corso, i partecipanti saranno in grado di:

• Comprendere a fondo l’architettura, le caratteristiche e i vantaggi offerti da Apache Iceberg.
• Conoscere i formati tabellari, la partizionamento, l’evoluzione degli schemi e le funzionalità di “time travel”.
• Installare e configurare Apache Iceberg in diversi ambienti.
• Creare, gestire e manipolare tabelle Iceberg.
• Comprendere i processi di migrazione dei dati da altri formati tabellari ad Apache Iceberg.

Questo corso pratico, tenuto da un istruttore <in loc> (online o in presenza), si rivolge a data scientist ed ingegneri di livello intermedio che desiderano utilizzare Google Colab e Apache Spark per l’elaborazione e l’analisi dei big data.

Al termine del corso, i partecipanti saranno in grado di:

• Configurare un ambiente per l’elaborazione dei big data tramite Google Colab e Spark.
• Elaborare e analizzare in modo efficiente grandi quantità di dati con Apache Spark.
• Visualizzare i dati di grandi dimensioni all’interno di un ambiente collaborativo.
• Integrare Apache Spark con strumenti basati sul cloud.

I progressi tecnologici e l’aumento esponenziale delle informazioni stanno trasformando il modo in cui si svolgono le attività operative in molti settori, incluso quello pubblico. La generazione di dati e l’archiviazione digitale da parte dei governi sono in continua crescita grazie alla diffusione capillare di dispositivi mobili e applicazioni, sensori intelligenti, soluzioni di cloud computing nonché portali destinati ai cittadini. Con la crescita della complessità e del volume delle informazioni digitali, anche la gestione, l’elaborazione, l’archiviazione, la sicurezza e la conservazione dei dati diventano sempre più complesse. Nuovi strumenti di acquisizione, ricerca, individuazione e analisi stanno aiutando le organizzazioni a trarre utili informazioni anche dai dati non strutturati. Il mercato governativo si trova oggi in una fase cruciale: sta prendendo coscienza del fatto che i dati costituiscono un asset strategico e necessita quindi di proteggerli, sfruttarli e analizzarli, sia se strutturati sia non strutturati, al fine di garantire una migliore erogazione dei servizi pubblici e il raggiungimento degli obiettivi istituzionali. I dirigenti governativi si stanno adoperando per sviluppare organizzazioni basate sui dati in grado di affrontare efficacemente le proprie missioni, stabilendo così correlazioni tra eventi, persone, processi e informazioni.

Soluzioni governative ad alto valore aggiunto emergeranno dalla combinazione delle tecnologie più innovative:

• Dispositivi mobili e applicazioni
• Servizi cloud
• Tecnologie aziendali sociali e reti di comunicazione
• Big Data e analisi dei dati

Il Big Data rappresenta una delle soluzioni più promettenti per il settore pubblico, consentendo di prendere decisioni più informate grazie all’individuazione di schemi significativi nell’analisi di grandi quantità di dati – sia correlati tra loro sia indipendenti, strutturati o meno.

Tuttavia, per ottenere tali risultati non basta accumulare semplicemente enormi quantità di dati. "Per comprendere appieno questi volumi enormi di Big Data sono necessari strumenti e tecnologie all’avanguardia in grado di estrarre informazioni utili da flussi di dati vastissimi e eterogenei," hanno scritto Tom Kalil e Fen Zhao dell’Ufficio per la Scienza e la Tecnologia della Casa Bianca in un post sul blog OSTP.

La Casa Bianca ha intrapreso una serie di iniziative volte ad assistere le agenzie governative nell’individuazione di tali strumenti, istituendo nel 2012 la National Big Data Research and Development Initiative. Questa iniziativa prevedeva l’impegno di oltre 200 milioni di dollari finalizzati a sfruttare al massimo sia la crescente abbondanza di dati Big Data, sia gli strumenti necessari per analizzarli.

Le sfide legate all’utilizzo del Big Data sono quasi pari alle potenzialità che esso offre. Un esempio significativo riguarda la memorizzazione efficace dei dati: i budget governativi risultano spesso limitati, perciò le agenzie devono ridurre al minimo il costo di archiviazione per ogni megabyte e garantire un accesso facilitato ai dati, in modo che gli utenti possano recuperarli secondo le proprie esigenze. La necessità di effettuare frequenti backup dei dati aumenta ulteriormente la complessità del compito.

Un’altra sfida cruciale consiste nell’analisi efficace dei dati. Molte agenzie fanno uso di strumenti commerciali in grado di esaminare vaste quantità di informazioni individuando trend utili per un operato più efficiente. Secondo uno studio recente realizzato da MeriTalk, i dirigenti IT federali ritengono che l’impiego del Big Data possa consentire alle agenzie di risparmiare oltre 500 miliardi di dollari, contribuendo nel contempo al conseguimento degli obiettivi istituzionali.

Gli strumenti Big Data sviluppati su misura stanno pure aiutando le agenzie ad affrontare le esigenze analitiche. Ad esempio, il gruppo Computational Data Analytics del Laboratorio Nazionale di Oak Ridge ha reso disponibile per altre agenzie il sistema Piranha. Questo strumento ha favorito i ricercatori medici nell’individuazione di legami utili a individuare tempestivamente gli aneurismi aortici prima che si manifestino; inoltre viene impiegato anche per compiti più ordinari, come l’esame di numerosi curricula al fine di abbinare i candidati agli incarichi vacanti.

I partecipanti che completano questo corso formativo in diretta tenuto da un istruttore Italia otterranno una comprensione concreta e applicabile del Big Data, nonché delle tecnologie, metodologie e strumenti ad esso correlati.

Avranno l’opportunità di applicare tali nozioni attraverso esercizi pratici; inoltre, l’interazione tra i partecipanti e il feedback dell’istruttore sono componenti essenziali del percorso formativo.

Il corso si apre con una introduzione ai concetti di base del Big Data, proseguendo poi con i linguaggi di programmazione e le metodologie impiegate nell’analisi dei dati. Si tratteranno infine gli strumenti e le infrastrutture che consentono l’archiviazione, l’elaborazione distribuita e la scalabilità del Big Data.

Questo corso live tenuto da un istruttore (online o in presenza) si rivolge a ingegneri dei dati, analisti dati e professionisti del settore che desiderano utilizzare Databricks e PySpark per creare pipeline di dati scalabili e migrare workflow SQL esistenti.

Apache NiFi è una piattaforma open source basata su flussi per l’integrazione dei dati e l’elaborazione degli eventi. Consente il instradamento automatico e in tempo reale dei dati, la loro trasformazione nonché la mediazione tra sistemi eterogenei, tutto grazie a un’interfaccia utente web altamente configurabile.

Questo corso pratico e guidato da istruttore (in sede o a distanza) è rivolto ad amministratori ed ingegneri di livello intermedio che desiderano implementare, gestire, proteggere e ottimizzare i flussi di dati in ambienti di produzione tramite NiFi.

Alla fine del corso i partecipanti saranno in grado di:

• Installare, configurare e mantenere cluster di Apache NiFi.
• Progettare e gestire flussi dati provenienti da fonti diverse e indirizzati verso destinazioni varie.
• Implementare logiche di automazione, instradamento e trasformazione dei dati nei flussi.
• Ottimizzare le prestazioni, monitorare l’operatività e risolvere eventuali problemi.

Formato del corso

• Lezioni interattive con analisi di architetture reali.
• Esercitazioni pratiche: creazione, distribuzione e gestione dei flussi.
• Attività basate su scenari concreti in un ambiente di laboratorio live.

Opzioni di personalizzazione del corso

• Per richiedere un corso su misura, non esitate a contattarci per concordare i dettagli.

Questo corso offre un’introduzione pratica alla creazione di flussi di lavoro per l'elaborazione dei dati e l'apprendimento automatico in modo scalabile, sfruttando PySpark. I partecipanti acquisiranno conoscenze su come Apache Spark si inserisca negli attuali ecosistemi di Big Data e sulle modalità più efficaci per elaborare set di dati di grandi dimensioni grazie ai principi del calcolo distribuito.

Questo corso formativo dal vivo, condotto da istruttori in Italia (online o in presenza), è pensato per ingegneri che intendono impostare e utilizzare il sistema Apache Spark al fine di gestire grandi quantità di dati.

Al termine del corso i partecipanti saranno in grado di:

• Installare e configurare Apache Spark.
• Elaborare e analizzare rapidamente insiemi di dati molto voluminosi.
• Capire le differenze tra Apache Spark e Hadoop MapReduce, nonché quando impiegarli.
• Integrare Apache Spark con altri strumenti di machine learning.

Questo corso formativo dal vivo, tenuto da istruttori in Italia (online o in sede), si rivolge ad amministratori di sistema con competenze di livello principiante-intermedio che desiderano distribuire, gestire e ottimizzare cluster Spark.

Al termine del corso i partecipanti saranno in grado di:

• Installare e configurare Apache Spark in diversi ambienti.
• Gestione delle risorse del cluster e monitoraggio delle applicazioni Spark.
• Ottimizzazione delle prestazioni dei cluster Spark.
• Implementazione di misure di sicurezza e garanzia dell’alta disponibilità.
• Risoluzione dei problemi più comuni legati a Spark.

Inizialmente, la curva di apprendimento di Apache Spark risulta piuttosto ripida: è necessario un notevole impegno per ottenere i primi risultati. Questo corso ha proprio lo scopo di aiutare gli studenti a superare questa fase difficile. Al termine del percorso, i partecipanti conosceranno le nozioni fondamentali di Apache Spark; sapranno distinguere correttamente tra RDD e DataFrame, impareranno ad utilizzare le API in Python e Scala, comprenderanno il ruolo degli executor e delle task. Inoltre, seguendo le best practice del settore, il corso si concentra in modo particolare sul deployment nel cloud, con attenzione a Databricks e AWS. Gli studenti acquisiranno anche familiarità con le differenze tra AWS EMR e AWS Glue, l’ultimo servizio Spark messo a disposizione da Amazon Web Services.

DESTINATARI:

Ingegneri dei dati, professionisti DevOps, Data Scientist

In questo corso pratico tenuto da istruttori in Italia, i partecipanti apprenderanno come combinare Python e Spark per analizzare i Big Data, impegnandosi in esercizi concreti.

Al termine del percorso formativo, saranno in grado di:

• Utilizzare Spark con Python nell’ambito dell’analisi dei Big Data.
• Eseguire esercizi che rispecchiano scenari reali.
• Adottare svariate tecniche e strumenti per l’elaborazione dei dati grazie a PySpark.

Questo corso pratico tenuto da istruttori in Italia (online o in sede) si rivolge agli sviluppatori che desiderano utilizzare e integrare Spark, Hadoop e Python al fine di elaborare, analizzare e trasformare insiemi di dati complessi e di grandi dimensioni.

Al termine del corso i partecipanti saranno in grado di:

• Configurare l’ambiente necessario per iniziare l’elaborazione dei big data con Spark, Hadoop e Python.
• Comprendere le caratteristiche, i componenti principali e l’architettura di Spark e Hadoop.
• Imparare a integrare Spark, Hadoop e Python nell’ambito dell’elaborazione dei big data.
• Esplorare gli strumenti presenti nell’ecosistema Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Flume).
• Sviluppare sistemi di raccomandazione basati su filtraggio collaborativo simili a quelli adottati da Netflix, YouTube, Amazon, Spotify e Google.
• Utilizzare Apache Mahout per scalare gli algoritmi di machine learning.

Stratio è una piattaforma incentrata sui dati che integra big data, intelligenza artificiale e governance in un’unica soluzione. I suoi moduli Rocket e Intelligence consentono un’esplorazione rapida dei dati, la loro trasformazione e l’analisi avanzata negli ambienti aziendali.

Questo corso di formazione dal vivo, tenuto da istruttori (online o in presenza), si rivolge a professionisti del settore dati di livello intermedio desiderosi di utilizzare efficacemente i moduli Rocket e Intelligence in Stratio tramite PySpark. Si approfondiranno strutture cicliche, funzioni definite dall’utente e logiche di elaborazione dei dati.

Al termine del corso, i partecipanti saranno in grado di:

• Navigare e operare all’interno della piattaforma Stratio utilizzando i moduli Rocket e Intelligence.
• Impiegare PySpark nell’ambito dell’inserimento, trasformazione e analisi dei dati.
• Utilizzare cicli logici e istruzioni condizionali per gestire flussi di lavoro sui dati e compiti di ingegneria delle feature.
• Creare e gestire funzioni definite dall’utente (UDF) da riutilizzare nei processi di analisi con PySpark.

Formato del corso

• Lezioni interattive e dibattiti guidati.
• Numerosi esercizi pratici e attività di applicazione.
• Implementazioni pratiche in un ambiente laboratoriale live.

Opzioni di personalizzazione del corso

• Per richiedere un programma formativo su misura, contattateci per concordare i dettagli.