Corso di formazione Apache Spark Streaming with Scala

In questo corso di formazione dal vivo con istruttore in Italia, i partecipanti impareranno a utilizzare Python e Spark insieme per analizzare i big data mentre lavorano su esercizi pratici.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Informazioni su come usare Spark con Python per analizzare i Big Data.
• Lavora su esercizi che imitano casi del mondo reale.
• Usa diversi strumenti e tecniche per l'analisi dei big data usando PySpark.

In questo corso di formazione dal vivo con istruttore in Italia, i partecipanti impareranno a conoscere le offerte tecnologiche e gli approcci di implementazione per l'elaborazione dei dati grafici. L'obiettivo è quello di identificare gli oggetti del mondo reale, le loro caratteristiche e relazioni, quindi modellare queste relazioni ed elaborarle come dati utilizzando un approccio Graph Computing (noto anche come Graph Analytics). Iniziamo con un'ampia panoramica e ci concentriamo su strumenti specifici mentre esaminiamo una serie di casi di studio, esercizi pratici e distribuzioni dal vivo.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Comprendere il modo in cui i dati del grafico vengono salvati in modo permanente e attraversato.
• Selezionare il framework migliore per una determinata attività (dai database a grafo ai framework di elaborazione batch).
• Implementare Hadoop, Spark, GraphX e Pregel per eseguire il calcolo dei grafi su molte macchine in parallelo.
• Visualizza i problemi dei big data del mondo reale in termini di grafici, processi e attraversamenti.

MLlib è la libreria di machine learning (ML) di Spark. Il suo obiettivo è rendere l'apprendimento automatico pratico scalabile e facile. Comprende algoritmi e utilità di apprendimento comuni, tra cui classificazione, regressione, clustering, filtro collaborativo, riduzione della dimensionalità, nonché primitive di ottimizzazione di livello inferiore e API di pipeline di livello superiore.

Si divide in due pacchetti:

• spark.mllib contiene l'API originale basata su RDD.

• spark.ml fornisce API di livello superiore basate su DataFrames per la costruzione di pipeline ML.

Pubblico

Questo corso è rivolto a ingegneri e sviluppatori che desiderano utilizzare una libreria di macchine integrata per Apache Spark

Formato del corso

• Lezione interattiva e discussione.
• Un sacco di esercizi e pratica.
• Implementazione pratica in un ambiente di laboratorio dal vivo.

Opzioni di personalizzazione del corso

• Per richiedere una formazione personalizzata per questo corso, contattaci per organizzare.

La formazione mira a fornire opportunità al linguaggio Scala , imparando la sintassi dei paradigmi di programmazione e le applicazioni spaziali.

Lo scopo di questo corso è fornire una competenza di base nell'applicazione pratica dei metodi di Machine Learning . Attraverso l'uso del linguaggio di programmazione Scala e delle sue varie librerie, e basato su una moltitudine di esempi pratici, questo corso insegna come utilizzare i più importanti blocchi di Machine Learning , come prendere decisioni sulla modellazione dei dati, interpretare i risultati degli algoritmi e convalidare i risultati.

Il nostro obiettivo è darti le competenze per comprendere e utilizzare gli strumenti più importanti della cassetta degli attrezzi di Machine Learning sicuro ed evitare le insidie comuni delle applicazioni di Data Science .

Scala è un linguaggio conciso e orientato agli oggetti con funzionalità di programmazione funzionale, tra cui curry, inferenza del tipo, immutabilità, valutazione pigra e corrispondenza dei pattern. Scala codice Scala viene eseguito su una JVM ed è stato progettato per risolvere alcune delle carenze di Java .

In questo istruttore, i partecipanti alla formazione dal vivo impareranno come utilizzare le funzionalità avanzate di Scala , incluso il suo sistema di tipi, per scrivere codice migliore usando un approccio oggetto-funzionale.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Sfruttare il sistema di tipi di Scala al massimo beneficio
• Gestire le eccezioni in modo funzionale
• Crea librerie e DSL con Scala
• Utilizzare le funzionalità avanzate di Scala per la corrispondenza dei motivi

Formato del corso

• Parte lezione, parte discussione, esercitazioni e esercitazioni pratiche

Scala è un linguaggio conciso e orientato agli oggetti con funzionalità di programmazione funzionale, tra cui curry, inferenza del tipo, immutabilità, valutazione pigra e corrispondenza dei pattern.

In questo istruttore, i partecipanti alla formazione dal vivo impareranno come utilizzare le funzionalità avanzate di Scala per sviluppare software ben costruito che sia facile da scrivere, leggere, testare e modificare. Il focus di questa formazione è sulla programmazione funzionale, usando casi di studio e discussione nel mondo reale come riferimento per esercitazioni e attività di laboratorio.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Implementare tecniche avanzate di programmazione funzionale
• Dai un senso alle firme di tipo complesso
• Comprendere il codice attraverso i tipi e la sostituzione
• Gestire le eccezioni in modo funzionale
• Crea librerie e DSL con Scala
• Utilizzare le funzionalità avanzate di Scala per la corrispondenza dei motivi

Formato del corso

• Parte lezione, parte discussione, esercitazioni e esercitazioni pratiche

Questo corso di formazione è progettato per portare i partecipanti da un principiante a un livello intermedio / avanzato nella comprensione e conoscenza del Akka quadro.

L'intero corso è a mano, guidato principalmente dal allenatore all'inizio e gradualmente spostando verso gli attivisti che producono il codice (e scaricando implementazioni / soluzioni scritte dal allenatore).

I partecipanti non si aspettano di avere conoscenze anticipate di Scala, l'allenatore prenderà il tempo necessario per spiegare e chiarire tutte le intricazioni relative al codice Scala utilizzato.

OBBIETTIVO:

Questo corso introdurrà Apache Spark . Gli studenti impareranno come Spark si inserisce nell'ecosistema Big Data e come utilizzare Spark per l'analisi dei dati. Il corso copre la shell Spark per l'analisi interattiva dei dati, gli interni Spark, le API Spark, Spark SQL , lo streaming Spark e l'apprendimento automatico e graphX.

PUBBLICO:

Sviluppatori / Analisti di dati

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) introduce Hortonworks Data Platform (HDP) e guida i partecipanti attraverso la distribuzione della soluzione Spark + Hadoop.

Al termine di questa formazione, i partecipanti saranno in grado di:

Utilizzare Hortonworks per eseguire in modo affidabile Hadoop su larga scala. Unifica le funzionalità di sicurezza, governance e operazioni di Hadoop con i flussi di lavoro analitici agili di Spark. Utilizza Hortonworks per analizzare, convalidare, certificare e supportare ciascuno dei componenti di un progetto Spark. Elabora diversi tipi di dati, tra cui dati strutturati, non strutturati, in movimento e inattivi.

Magellan è un motore di esecuzione distribuito open source per l'analisi geospaziale sui big data. Implementato in cima a Apache Spark, estende Spark SQL e fornisce un'abstrazione relativa per l'analisi geospaziale.

Questo istruttore guidato, allenamento dal vivo introduce i concetti e gli approcci per l'attuazione di analisi geospaziale e viaggia i partecipanti attraverso la creazione di un'applicazione di analisi preditiva utilizzando Magellan su Spark.

Al termine di questo corso, i partecipanti saranno in grado di:

• Effettivamente chiedere, condividere e unire i set di dati geospaziali su scala
• Implementazione dei dati geospaziali nell'intelligenza aziendale e nelle applicazioni di analisi preditiva
• Utilizzare il contesto spaziale per estendere le capacità di dispositivi mobili, sensori, log e portatili

Il formato del corso

• Interattiva lezione e discussione.
• Molti esercizi e pratiche.
• Implementazione a mano in un ambiente live-lab.

Opzioni di personalizzazione del corso

• Per richiedere una formazione personalizzata per questo corso, si prega di contattarci per organizzare.

Spark SQL è il modulo di Apache Spark per lavorare con dati strutturati e non strutturati. Spark SQL fornisce informazioni sulla struttura dei dati e sul calcolo eseguito. Queste informazioni possono essere utilizzate per eseguire ottimizzazioni. Due usi comuni per Spark SQL sono:
- per eseguire query SQL .
- leggere i dati da un'installazione Hive esistente.

In questo corso di formazione dal vivo con istruttore (in loco o remoto), i partecipanti impareranno come analizzare vari tipi di set di dati utilizzando Spark SQL .

Al termine di questa formazione, i partecipanti saranno in grado di:

• Installa e configura Spark SQL .
• Eseguire l'analisi dei dati utilizzando Spark SQL .
• Interroga set di dati in diversi formati.
• Visualizza i dati e i risultati delle query.

Formato del corso

• Conferenza e discussione interattiva.
• Molti esercizi e pratiche.
• Implementazione pratica in un ambiente live-lab.

Opzioni di personalizzazione del corso

• Per richiedere una formazione personalizzata per questo corso, ti preghiamo di contattarci per organizzare.

In questo corso di formazione dal vivo con istruttore in Italia (in loco o in remoto), i partecipanti impareranno come impostare e integrare diversi Stream Processing framework con i sistemi di archiviazione dei big data esistenti e le relative applicazioni software e microservizi.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Installare e configurare diversi framework Stream Processing, ad esempio Spark Streaming e Kafka Streaming.
• Comprendere e selezionare il framework più appropriato per il lavoro.
• Elaborazione dei dati in modo continuo, simultaneo e record per record.
• Integrare Stream Processing le soluzioni con database, data warehouse, data lake, ecc. esistenti.
• Integra la libreria di elaborazione dei flussi più appropriata con le applicazioni e i microservizi aziendali.

L'analisi dei big data prevede il processo di esame di grandi quantità di set di dati diversi al fine di scoprire correlazioni, schemi nascosti e altre informazioni utili.

L'industria sanitaria ha enormi quantità di dati medici e clinici eterogenei complessi. L'applicazione dell'analisi dei big data sui dati sanitari presenta un enorme potenziale nel ricavare approfondimenti per migliorare l'erogazione dell'assistenza sanitaria. Tuttavia, l'enormità di questi set di dati pone grandi sfide nelle analisi e applicazioni pratiche in un ambiente clinico.

In questo corso di formazione dal vivo con istruttore (a distanza), i partecipanti impareranno come eseguire analisi dei big data in salute mentre eseguono una serie di esercitazioni pratiche in laboratorio dal vivo.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Installa e configura strumenti di analisi dei big data come Hadoop MapReduce e Spark
• Comprendi le caratteristiche dei dati medici
• Applicare tecniche di big data per gestire i dati medici
• Studiare sistemi e algoritmi per big data nel contesto di applicazioni sanitarie

Pubblico

• Sviluppatori
• Scienziati dei dati

Formato del corso

• Parte lezione, parte discussione, esercitazioni e esercitazioni pratiche.

Nota

• Per richiedere una formazione personalizzata per questo corso, ti preghiamo di contattarci per organizzare.