Corso di formazione Administration of Apache Spark

In questo corso di formazione dal vivo con istruttore in Italia, i partecipanti impareranno a utilizzare Python e Spark insieme per analizzare i big data mentre lavorano su esercizi pratici.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Informazioni su come usare Spark con Python per analizzare i Big Data.
• Lavora su esercizi che imitano casi del mondo reale.
• Usa diversi strumenti e tecniche per l'analisi dei big data usando PySpark.

In questo corso di formazione dal vivo con istruttore in Italia, i partecipanti impareranno a conoscere le offerte tecnologiche e gli approcci di implementazione per l'elaborazione dei dati grafici. L'obiettivo è quello di identificare gli oggetti del mondo reale, le loro caratteristiche e relazioni, quindi modellare queste relazioni ed elaborarle come dati utilizzando un approccio Graph Computing (noto anche come Graph Analytics). Iniziamo con un'ampia panoramica e ci concentriamo su strumenti specifici mentre esaminiamo una serie di casi di studio, esercizi pratici e distribuzioni dal vivo.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Comprendere il modo in cui i dati del grafico vengono salvati in modo permanente e attraversato.
• Selezionare il framework migliore per una determinata attività (dai database a grafo ai framework di elaborazione batch).
• Implementare Hadoop, Spark, GraphX e Pregel per eseguire il calcolo dei grafi su molte macchine in parallelo.
• Visualizza i problemi dei big data del mondo reale in termini di grafici, processi e attraversamenti.

MLlib è la libreria di machine learning (ML) di Spark. Il suo obiettivo è rendere l'apprendimento automatico pratico scalabile e facile. Comprende algoritmi e utilità di apprendimento comuni, tra cui classificazione, regressione, clustering, filtro collaborativo, riduzione della dimensionalità, nonché primitive di ottimizzazione di livello inferiore e API di pipeline di livello superiore.

Si divide in due pacchetti:

• spark.mllib contiene l'API originale basata su RDD.

• spark.ml fornisce API di livello superiore basate su DataFrames per la costruzione di pipeline ML.

Pubblico

Questo corso è rivolto a ingegneri e sviluppatori che desiderano utilizzare una libreria di macchine integrata per Apache Spark

Formato del corso

• Lezione interattiva e discussione.
• Un sacco di esercizi e pratica.
• Implementazione pratica in un ambiente di laboratorio dal vivo.

Opzioni di personalizzazione del corso

• Per richiedere una formazione personalizzata per questo corso, contattaci per organizzare.

OBBIETTIVO:

Questo corso introdurrà Apache Spark . Gli studenti impareranno come Spark si inserisce nell'ecosistema Big Data e come utilizzare Spark per l'analisi dei dati. Il corso copre la shell Spark per l'analisi interattiva dei dati, gli interni Spark, le API Spark, Spark SQL , lo streaming Spark e l'apprendimento automatico e graphX.

PUBBLICO:

Sviluppatori / Analisti di dati

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) introduce Hortonworks Data Platform (HDP) e guida i partecipanti attraverso la distribuzione della soluzione Spark + Hadoop.

Al termine di questa formazione, i partecipanti saranno in grado di:

Utilizzare Hortonworks per eseguire in modo affidabile Hadoop su larga scala. Unifica le funzionalità di sicurezza, governance e operazioni di Hadoop con i flussi di lavoro analitici agili di Spark. Utilizza Hortonworks per analizzare, convalidare, certificare e supportare ciascuno dei componenti di un progetto Spark. Elabora diversi tipi di dati, tra cui dati strutturati, non strutturati, in movimento e inattivi.

Magellan è un motore di esecuzione distribuito open source per l'analisi geospaziale sui big data. Implementato in cima a Apache Spark, estende Spark SQL e fornisce un'abstrazione relativa per l'analisi geospaziale.

Questo istruttore guidato, allenamento dal vivo introduce i concetti e gli approcci per l'attuazione di analisi geospaziale e viaggia i partecipanti attraverso la creazione di un'applicazione di analisi preditiva utilizzando Magellan su Spark.

Al termine di questo corso, i partecipanti saranno in grado di:

• Effettivamente chiedere, condividere e unire i set di dati geospaziali su scala
• Implementazione dei dati geospaziali nell'intelligenza aziendale e nelle applicazioni di analisi preditiva
• Utilizzare il contesto spaziale per estendere le capacità di dispositivi mobili, sensori, log e portatili

Il formato del corso

• Interattiva lezione e discussione.
• Molti esercizi e pratiche.
• Implementazione a mano in un ambiente live-lab.

Opzioni di personalizzazione del corso

• Per richiedere una formazione personalizzata per questo corso, si prega di contattarci per organizzare.

Spark SQL è il modulo di Apache Spark per lavorare con dati strutturati e non strutturati. Spark SQL fornisce informazioni sulla struttura dei dati e sul calcolo eseguito. Queste informazioni possono essere utilizzate per eseguire ottimizzazioni. Due usi comuni per Spark SQL sono:
- per eseguire query SQL .
- leggere i dati da un'installazione Hive esistente.

In questo corso di formazione dal vivo con istruttore (in loco o remoto), i partecipanti impareranno come analizzare vari tipi di set di dati utilizzando Spark SQL .

Al termine di questa formazione, i partecipanti saranno in grado di:

• Installa e configura Spark SQL .
• Eseguire l'analisi dei dati utilizzando Spark SQL .
• Interroga set di dati in diversi formati.
• Visualizza i dati e i risultati delle query.

Formato del corso

• Conferenza e discussione interattiva.
• Molti esercizi e pratiche.
• Implementazione pratica in un ambiente live-lab.

Opzioni di personalizzazione del corso

• Per richiedere una formazione personalizzata per questo corso, ti preghiamo di contattarci per organizzare.

In questo corso di formazione dal vivo con istruttore in Italia (in loco o in remoto), i partecipanti impareranno come impostare e integrare diversi Stream Processing framework con i sistemi di archiviazione dei big data esistenti e le relative applicazioni software e microservizi.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Installare e configurare diversi framework Stream Processing, ad esempio Spark Streaming e Kafka Streaming.
• Comprendere e selezionare il framework più appropriato per il lavoro.
• Elaborazione dei dati in modo continuo, simultaneo e record per record.
• Integrare Stream Processing le soluzioni con database, data warehouse, data lake, ecc. esistenti.
• Integra la libreria di elaborazione dei flussi più appropriata con le applicazioni e i microservizi aziendali.

L'analisi dei big data prevede il processo di esame di grandi quantità di set di dati diversi al fine di scoprire correlazioni, schemi nascosti e altre informazioni utili.

L'industria sanitaria ha enormi quantità di dati medici e clinici eterogenei complessi. L'applicazione dell'analisi dei big data sui dati sanitari presenta un enorme potenziale nel ricavare approfondimenti per migliorare l'erogazione dell'assistenza sanitaria. Tuttavia, l'enormità di questi set di dati pone grandi sfide nelle analisi e applicazioni pratiche in un ambiente clinico.

In questo corso di formazione dal vivo con istruttore (a distanza), i partecipanti impareranno come eseguire analisi dei big data in salute mentre eseguono una serie di esercitazioni pratiche in laboratorio dal vivo.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Installa e configura strumenti di analisi dei big data come Hadoop MapReduce e Spark
• Comprendi le caratteristiche dei dati medici
• Applicare tecniche di big data per gestire i dati medici
• Studiare sistemi e algoritmi per big data nel contesto di applicazioni sanitarie

Pubblico

• Sviluppatori
• Scienziati dei dati

Formato del corso

• Parte lezione, parte discussione, esercitazioni e esercitazioni pratiche.

Nota

• Per richiedere una formazione personalizzata per questo corso, ti preghiamo di contattarci per organizzare.

La curva di apprendimento di Apache Spark sta lentamente aumentando all'inizio, ha bisogno di molti sforzi per ottenere il primo ritorno. Questo corso mira a saltare attraverso la prima parte difficile. Dopo aver seguito questo corso, i partecipanti comprenderanno le basi di Apache Spark , distingueranno chiaramente RDD da DataFrame, impareranno le API di Python e Scala , capiranno gli esecutori e le attività, ecc. Seguendo anche le migliori pratiche, questo corso si concentra fortemente su implementazione cloud, Databricks e AWS. Gli studenti capiranno anche le differenze tra AWS EMR e AWS Glue, uno degli ultimi servizi Spark di AWS.

PUBBLICO:

Data Engineer, DevOps , Data Scientist

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto agli ingegneri del software che desiderano eseguire lo streaming di big data con Spark Streaming e Scala.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Creare applicazioni Spark con il linguaggio di programmazione Scala.
• Utilizzare Spark Streaming per elaborare flussi continui di dati.
• Elabora flussi di dati in tempo reale con Spark Streaming.

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto ai data scientist che desiderano utilizzare lo stack SMACK per creare piattaforme di elaborazione dati per soluzioni di big data.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Implementare un'architettura di pipeline di dati per l'elaborazione dei big data.
• Sviluppa un'infrastruttura cluster con Apache Mesos e Docker.
• Analizza i dati con Spark e Scala.
• Gestisci i dati non strutturati con Apache Cassandra.

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto agli ingegneri che desiderano configurare e implementare Apache Spark un sistema per l'elaborazione di grandi quantità di dati.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Installare e configurare Apache Spark.
• Elabora e analizza rapidamente set di dati molto grandi.
• Comprendere la differenza tra Apache Spark e Hadoop MapReduce e quando usarlo.
• Integra Apache Spark con altri strumenti di Machine Learning.

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto agli sviluppatori che desiderano eseguire analisi di Big Data utilizzando Apache Spark nelle loro applicazioni .NET.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Installare e configurare Apache Spark.
• Informazioni su come .NET implementa le API Spark in modo che sia possibile accedervi da un'applicazione .NET.
• Sviluppare applicazioni di elaborazione dati utilizzando C# o F#, in grado di gestire set di dati le cui dimensioni sono misurate in terabyte e pedabyte.
Sviluppare funzionalità di
• Machine Learning per un'applicazione .NET usando le funzionalità di Apache Spark.
• Effettuare analisi esplorative utilizzando SQL query su set di big data.