Corso di formazione Advanced Apache Iceberg

Pubblico Obiettivo:

Il corso è destinato ai professionisti IT in cerca di una soluzione per archiviare e processare grandi insiemi di dati in un ambiente di sistema distribuito.

Goal:

Conoscenze approfondite nell'amministrazione del cluster Hadoop.

Questa formazione guidata dal formatore in Italia (online o sul posto) si rivolge a data scientist e ingegneri di livello intermedio che desiderano utilizzare Google Colab e Apache Spark per il processing e l'analisi dei big data.

Alla fine di questa formazione, i partecipanti saranno in grado di:

• Configurare un ambiente di big data utilizzando Google Colab e Spark.
• Processare e analizzare grandi set di dati efficacemente con Apache Spark.
• Visualizzare i big data in un ambiente collaborativo.
• Integrare Apache Spark con strumenti basati sul cloud.

L'analisi dei big data coinvolge il processo di esaminare grandi quantità di set di dati vari per scoprire correlazioni, pattern nascosti e altre utili intuizioni.

L'industria sanitaria dispone di enormi quantità di dati medici e clinici complessi e eterogenei. L'applicazione dell'analisi dei big data ai dati sanitari presenta un enorme potenziale per derivare intuizioni che migliorino la fornitura di cure sanitarie. Tuttavia, l'enormità di questi set di dati comporta grandi sfide nelle analisi e nelle applicazioni pratiche in un ambiente clinico.

In questo training guidato dall'instruttore (remoto), i partecipanti impareranno come eseguire l'analisi dei big data in campo sanitario attraverso una serie di esercizi pratica guidati dal vivo.

Al termine di questo training, i partecipanti saranno in grado di:

• Installare e configurare strumenti di analisi dei big data come Hadoop MapReduce e Spark
• Comprendere le caratteristiche dei dati medici
• Applicare tecniche di big data per gestire i dati medici
• Studiare sistemi e algoritmi di big data nel contesto delle applicazioni sanitarie

Pubblico di riferimento

• Sviluppatori
• Data Scientists

Formato del Corso

• Parte lezione, parte discussione, esercizi e pratica intensiva.

Note

• Per richiedere un training personalizzato per questo corso, si prega di contattarci per organizzarlo.

Apache Hadoop è il framework più popolare per il processing Big Data su cluster di server. In questo corso di tre (opzionalmente quattro) giorni, gli iscritti impareranno i benefici aziendali e i casi d'uso per Hadoop ed il suo ecosistema, come pianificare la distribuzione e lo scaling del cluster, come installare, mantenere, monitorare, risolvere problemi e ottimizzare Hadoop. Praticheranno anche il caricamento di dati bulk sul cluster, si familiarizzeranno con varie distribuzioni di Hadoop, ed impareranno a installare e gestire gli strumenti dell'ecosistema Hadoop. Il corso si conclude con una discussione sulla sicurezza del cluster tramite Kerberos.

"...I materiali sono stati preparati molto bene e coperti in modo approfondito. La Lab è stata molto utile ed organizzata bene"— Andrew Nguyen, Principal Integration DW Engineer, Microsoft Online Advertising

Target

Amministratori di Hadoop

Formato

Lezioni e laboratori pratici, equilibrio approssimativo 60% lezioni, 40% laboratorio.

Apache Hadoop è il framework più popolare per l'elaborazione di Big Data su cluster di server. Questo corso introdurrà gli sviluppatori a vari componenti dell'ecosistema Hadoop, tra cui HDFS, MapReduce, Pig, Hive e HBase.

Apache Hadoop è uno dei framework più popolari per l'elaborazione di Big Data su cluster di server. Questo corso si concentra sulla gestione dei dati in HDFS, Pig avanzato, Hive e HBase. Queste tecniche di programmazione avanzate saranno utili agli sviluppatori Hadoop esperti.

Pubblico: sviluppatori

Durata: tre giorni

Formato: lezioni (50%) e laboratori pratici (50%).

Pubblico Obiettivo:

Questo corso è progettato per demistificare la tecnologia big data/Hadoop e mostrare che non è difficile da comprendere.

Questo corso di formazione diretto dall'instruttore (online o in presenza) è rivolto agli amministratori di sistema che desiderano imparare come configurare, distribuire e gestire cluster Hadoop all'interno della loro organizzazione.

Al termine di questo corso, i partecipanti saranno in grado di:

• Installare e configurare Apache Hadoop.
• Comprendere i quattro principali componenti nell'ecosistema Hadoop: HDFS, MapReduce, YARN e Hadoop Common.
• Utilizzare il Hadoop Distributed File System (HDFS) per scalare un cluster a centinaia o migliaia di nodi.
• Configurare HDFS come motore di archiviazione per distribuzioni Spark on-premise.
• Configurare Spark per accedere a soluzioni di archiviazione alternative come Amazon S3 e sistemi database NoSQL come Redis, Elasticsearch, Couchbase, Aerospike, ecc.
• Eseguire attività amministrative come provisioning, gestione, monitoraggio e protezione di un cluster Apache Hadoop.

Questo corso introduce HBase – uno store NoSQL su Hadoop. Il corso è destinato a sviluppatori che useranno HBase per sviluppare applicazioni e amministratori che gestiranno cluster HBase.

Percorreremo con lo sviluppatore l'architettura di HBase, la modellazione dei dati e lo sviluppo delle applicazioni su HBase. Discuteremo anche l'uso di MapReduce con HBase e alcuni argomenti amministrativi relativi all'ottimizzazione delle prestazioni. Il corso è molto pratico, con numerosi esercizi in laboratorio.

Durata: 3 giorni

Pubblico: Sviluppatori e Amministratori

Apache NiFi è una piattaforma open-source, basata sui flussi, per l'integrazione dei dati e il processo degli eventi. Consente di automatizzare il routing, la trasformazione e la mediazione del sistema in tempo reale tra sistemi diversi, con un'interfaccia web e un controllo granulare.

Questo training guidato dal docente (in loco o remoto) è rivolto a amministratori e ingegneri di livello intermedio che desiderano distribuire, gestire, proteggere e ottimizzare i flussi di dati NiFi in ambienti di produzione.

Al termine di questo training, i partecipanti saranno in grado di:

• Installare, configurare e mantenere cluster Apache NiFi.
• Progettare e gestire flussi di dati da sorgenti e destinazioni varie.
• Implementare logiche di automazione dei flussi, routing e trasformazione.
• Ottimizzare le prestazioni, monitorare le operazioni e risolvere problemi.

Formato del Corso

• Lezione interattiva con discussione su architetture reali.
• Laboratori pratici: costruire, distribuire e gestire flussi.
• Esercizi basati su scenari in un ambiente live-lab.

Opzioni di Personalizzazione del Corso

• Per richiedere una formazione personalizzata per questo corso, si prega di contattarci per organizzare l'evento.

In questo corso di formazione dal vivo con istruttore in Italia, i partecipanti impareranno i fondamenti della programmazione basata sul flusso mentre sviluppano una serie di estensioni, componenti e processori demo utilizzando Apache NiFi.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Comprendi l'architettura e i concetti del flusso di dati di NiFi.
• Sviluppa estensioni utilizzando NiFi e API di terze parti.
• Sviluppare su misura il proprio processore Apache Nifi.
• Acquisisci ed elabora dati in tempo reale da formati di file e origini dati diversi e non comuni.

Questo corso offre un'introduzione pratica alla creazione di workflow scalabili per l'elaborazione dei dati e il Machine Learning utilizzando PySpark. I partecipanti apprenderanno come Apache Spark opera all'interno degli ecosistemi moderni di Big Data e come elaborare in modo efficiente grandi dataset sfruttando i principi del calcolo distribuito.

In questo corso di formazione dal vivo con istruttore in Italia, i partecipanti impareranno come utilizzare Python e Spark insieme per analizzare i big data mentre lavorano su esercizi pratici.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Scopri come utilizzare Spark con Python per analizzare Big Data.
• Lavora su esercizi che imitano casi del mondo reale.
• Utilizzare diversi strumenti e tecniche per l'analisi dei big data utilizzando PySpark.

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto agli sviluppatori che desiderano utilizzare e integrare Spark, Hadoop e Python per elaborare, analizzare e trasformare set di dati grandi e complessi.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Configurare l'ambiente necessario per iniziare a elaborare i big data con Spark, Hadoop e Python.
• Comprendere le funzionalità, i componenti principali e l'architettura di Spark e Hadoop.
• Scopri come integrare Spark, Hadoop e Python per l'elaborazione dei big data.
• Esplora gli strumenti nell'ecosistema Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka e Flume).
• Crea sistemi di raccomandazione di filtraggio collaborativi simili a Netflix, YouTube, Amazon, Spotify e Google.
• Usa Apache Mahout per ridimensionare gli algoritmi di machine learning.

Stratio è una piattaforma orientata ai dati che integra big data, AI e governance in un'unica soluzione. I moduli Rocket e Intelligence permettono esplorazioni rapide dei dati, trasformazioni ed analisi avanzate negli ambienti aziendali.

Questa formazione guidata dal docente (online o in sede) è rivolta a professionisti dei dati di livello intermedio che desiderano utilizzare i moduli Rocket e Intelligence di Stratio efficacemente con PySpark, concentrandosi su strutture di ciclo, funzioni definite dall'utente e logica avanzata dei dati.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Navigare e lavorare all'interno della piattaforma Stratio utilizzando i moduli Rocket e Intelligence.
• Applicare PySpark nel contesto di ingestione, trasformazione ed analisi dei dati.
• Utilizzare cicli e logica condizionale per controllare i flussi di lavoro dei dati e le attività di feature engineering.
• Creare e gestire funzioni definite dall'utente (UDFs) per operazioni di dati riutilizzabili in PySpark.

Formato del Corso

• Lezione interattiva e discussione.
• Molte esercitazioni e pratica.
• Implementazione pratica in un ambiente di laboratorio live.

Opzioni di Personalizzazione del Corso

• Per richiedere una formazione personalizzata per questo corso, contattateci per organizzare l'evento.