Struttura del corso
Sezione 1: Data Management in HDFS
- Vari Formati di Dati (JSON / Avro / Parquet)
- Schemi di Compressione
- Mascheramento dei Dati
- Laboratori: Analisi di diversi formati di dati; abilitazione della compressione
Sezione 2: Pig Avanzato
- Funzioni Definite dall'Utente
- Introduzione alle Biblioteche Pig (ElephantBird / Data-Fu)
- Caricamento di Dati Strutturati Complessi con Pig
- Ottimizzazione Pig
- Laboratori: scripting avanzato Pig, analisi di tipi di dati complessi
Sezione 3 : Avanzamento Hive
- Funzioni Definite dall'Utente
- Tabelle Compressate
- Ottimizzazione delle Prestazioni di Hive
- Laboratori: creazione di tabelle compressate, valutazione dei formati e configurazioni delle tabelle
Sezione 4 : HBase Avanzato
- Modellazione avanzata dello schema
- Compressione
- Inserimento di Dati in Blocco
- Confronto tra tabelle wide e tall
- HBase e Pig
- HBase e Hive
- Ottimizzazione delle Prestazioni HBase
- Laboratori: ottimizzazione di HBase; accesso ai dati HBase da Pig & Hive; Utilizzo di Phoenix per la modellazione dei dati
Requisiti
- afferente al linguaggio di programmazione Java (la maggior parte degli esercizi pratici sono in Java)
- afferente all'ambiente Linux (saper navigare nella riga di comando di Linux, modificare file utilizzando vi/nano)
- conoscenza operativa di Hadoop.
Ambiente di laboratorio
Zero Install: Non è necessario installare il software Hadoop sui computer degli studenti! Sarà fornita una cluster Hadoop funzionante per gli studenti.
Gli studenti avranno bisogno dei seguenti elementi
Recensioni (5)
The live examples
Ahmet Bolat - Accenture Industrial SS
Corso - Python, Spark, and Hadoop for Big Data
During the exercises, James explained me every step whereever I was getting stuck in more detail. I was completely new to NIFI. He explained the actual purpose of NIFI, even the basics such as open source. He covered every concept of Nifi starting from Beginner Level to Developer Level.
Firdous Hashim Ali - MOD A BLOCK
Corso - Apache NiFi for Administrators
Trainer's preparation & organization, and quality of materials provided on github.
Mateusz Rek - MicroStrategy Poland Sp. z o.o.
Corso - Impala for Business Intelligence
That I had it in the first place.
Peter Scales - CACI Ltd
Corso - Apache NiFi for Developers
practical things of doing, also theory was served good by Ajay