Apache Spark Training Courses

Python è un linguaggio di programmazione scalabile, flessibile e ampiamente utilizzato per la scienza dei dati e l'apprendimento automatico. Spark è un motore di elaborazione dei dati utilizzato per la ricerca, l'analisi e la trasformazione dei big data, mentre Hadoop è un framework della libreria software per lo storage e il trattamento dei dati su larga scala. Questo allenamento diretto da istruttori (online o on-site) è rivolto a sviluppatori che vogliono utilizzare e integrare Spark, Hadoop, e Python per elaborare, analizzare e trasformare grandi e complessi set di dati. Al termine di questo corso, i partecipanti saranno in grado di:

Crea l'ambiente necessario per iniziare il trattamento dei big data con Spark, Hadoop, e Python. Comprendere le caratteristiche, i componenti chiave e l'architettura di Spark e Hadoop. Scopri come integrare Spark, Hadoop, e Python per il trattamento dei big data. Esplora gli strumenti nell'ecosistema Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka, e Flume). Costruisci sistemi di raccomandazione di filtrazione collaborativa simili a Netflix, YouTube, Amazon, Spotify e Google. Apache Mahout per scalare gli algoritmi di apprendimento automatico.

Il formato del corso

Interattiva lezione e discussione. Molti esercizi e pratiche. Implementazione a mano in un ambiente live-lab.

Opzioni di personalizzazione del corso

Per richiedere una formazione personalizzata per questo corso, si prega di contattarci per organizzare.

Python è un linguaggio di programmazione di alto livello famoso per la sua sintassi chiara e la leggibilità del codice. Spark è un motore di elaborazione dei dati utilizzato per interrogare, analizzare e trasformare i big data. PySpark consente agli utenti di interfacciare Spark con Python . In questo corso di formazione dal vivo con istruttore, i partecipanti impareranno come usare Python e Spark insieme per analizzare i big data mentre lavorano su esercizi pratici. Al termine di questa formazione, i partecipanti saranno in grado di:

• Scopri come utilizzare Spark con Python per analizzare i Big Data .
• Lavora su esercizi che imitano le circostanze del mondo reale.
• Usa diversi strumenti e tecniche per l'analisi dei big data usando PySpark .

Formato del corso

• Parte lezione, parte discussione, esercitazioni e esercitazioni pratiche

Alluxio è un sistema di archiviazione distribuito virtuale open source che unisce sistemi di archiviazione diversi e consente alle applicazioni di interagire con i dati a velocità di memoria. È utilizzato da aziende come Intel, Baidu e Alibaba. In questo allenamento guidato da istruttori, i partecipanti impareranno come utilizzare Alluxio per collegare diversi framework di calcolo con i sistemi di archiviazione e gestire efficacemente i dati di scala multi-petabyte mentre passano attraverso la creazione di un'applicazione con Alluxio. Al termine di questo corso, i partecipanti saranno in grado di:

Sviluppare un'applicazione con Alluxio Connettere i sistemi di big data e le applicazioni mantenendo uno spazio di nome Estratto efficiente di valore da grandi dati in qualsiasi formato di archiviazione Migliorare le prestazioni del lavoro Sviluppare e gestire Alluxio indipendente o clusterato

Il pubblico

Scienziato dei dati Sviluppatore amministratore del sistema

Il formato del corso

Lezioni parziali, discussioni parziali, esercizi e pratiche pesanti

L'analisi dei big data prevede il processo di esame di grandi quantità di set di dati diversi al fine di scoprire correlazioni, schemi nascosti e altre informazioni utili. L'industria sanitaria ha enormi quantità di dati medici e clinici eterogenei complessi. L'applicazione dell'analisi dei big data sui dati sanitari presenta un enorme potenziale nel ricavare approfondimenti per migliorare l'erogazione dell'assistenza sanitaria. Tuttavia, l'enormità di questi set di dati pone grandi sfide nelle analisi e applicazioni pratiche in un ambiente clinico. In questo corso di formazione dal vivo con istruttore (a distanza), i partecipanti impareranno come eseguire analisi dei big data in salute mentre eseguono una serie di esercitazioni pratiche in laboratorio dal vivo. Al termine di questa formazione, i partecipanti saranno in grado di:

• Installa e configura strumenti di analisi dei big data come Hadoop MapReduce e Spark
• Comprendi le caratteristiche dei dati medici
• Applicare tecniche di big data per gestire i dati medici
• Studiare sistemi e algoritmi per big data nel contesto di applicazioni sanitarie

Pubblico

• Sviluppatori
• Scienziati dei dati

Formato del corso

• Parte lezione, parte discussione, esercitazioni e esercitazioni pratiche.

Nota

• Per richiedere una formazione personalizzata per questo corso, ti preghiamo di contattarci per organizzare.

Apache Hadoop è un popolare framework di elaborazione dei dati per il trattamento di grandi set di dati su molti computer. Questo istruttore guidato, la formazione in diretta (online o on-site) è rivolto agli amministratori del sistema che vogliono imparare come configurare, implementare e gestire Hadoop cluster all'interno della loro organizzazione. Al termine di questo corso, i partecipanti saranno in grado di:

Installare e configurare Apache Hadoop. Comprendere i quattro componenti principali dell'ecosistema Hadoop: HDFS, MapReduce, YARN e Hadoop Common. Utilizzare Hadoop Distribuito File System (HDFS) per scalare un cluster a centinaia o migliaia di nodi. di   Imposta HDFS per funzionare come motore di archiviazione per i depositi Spark on-premise. Imposta Spark per accedere a soluzioni di archiviazione alternative come Amazon S3 e NoSQL sistemi di database come Redis, Elasticsearch, Couchbase, Aerospike, ecc. Eseguire compiti amministrativi come la fornitura, la gestione, il monitoraggio e la sicurezza di un cluster Apache.

Il formato del corso

Interattiva lezione e discussione. Molti esercizi e pratiche. Implementazione a mano in un ambiente live-lab.

Opzioni di personalizzazione del corso

Per richiedere una formazione personalizzata per questo corso, si prega di contattarci per organizzare.

Hortonworks Data Platform (HDP) è una piattaforma di supporto open source Apache Hadoop che fornisce una base stabile per lo sviluppo di soluzioni per big data sull'ecosistema Apache Hadoop . Questa formazione dal vivo con istruttore (in loco o remoto) introduce la Hortonworks Data Platform (HDP) e guida i partecipanti attraverso l'implementazione della soluzione Spark + Hadoop . Al termine di questa formazione, i partecipanti saranno in grado di:

• Utilizzare Hortonworks per eseguire in modo affidabile Hadoop su larga scala.
• Unifica le funzionalità di sicurezza, governance e operazioni di Hadoop con i flussi di lavoro analitici agili di Spark.
• Utilizzare Hortonworks per indagare, convalidare, certificare e supportare ciascuno dei componenti in un progetto Spark.
• Elaborazione di diversi tipi di dati, inclusi strutturati, non strutturati, in movimento e a riposo.

Formato del corso

• Conferenza e discussione interattiva.
• Molti esercizi e pratiche.
• Implementazione pratica in un ambiente live-lab.

Opzioni di personalizzazione del corso

• Per richiedere una formazione personalizzata per questo corso, ti preghiamo di contattarci per organizzare.

Stream Processing riferisce all'elaborazione in tempo reale di "dati in movimento", ovvero l'esecuzione di calcoli sui dati man mano che vengono ricevuti. Tali dati vengono letti come flussi continui da fonti di dati quali eventi dei sensori, attività dell'utente del sito Web, operazioni finanziarie, passaggi di carte di credito, flussi di clic, ecc. I framework di Stream Processing flussi sono in grado di leggere grandi volumi di dati in entrata e fornire informazioni preziose quasi istantaneamente. In questo corso di formazione dal vivo con istruttore (in loco o remoto), i partecipanti impareranno come impostare e integrare diversi framework di Stream Processing con i sistemi di archiviazione dei big data esistenti e le relative applicazioni software e microservizi. Al termine di questa formazione, i partecipanti saranno in grado di:

• Installa e configura diversi framework di Stream Processing flussi, come Spark Streaming e Kafka Streaming.
• Comprendere e selezionare il framework più appropriato per il lavoro.
• Elaborazione dei dati in modo continuo, simultaneo e in modo record per record.
• Integrare le soluzioni di Stream Processing con database esistenti, data warehouse, data lake, ecc.
• Integra la libreria di elaborazione del flusso più appropriata con applicazioni e microservizi aziendali.

Pubblico

• Sviluppatori
• Architetti del software

Formato del corso

• Parte lezione, parte discussione, esercitazioni e esercitazioni pratiche

Gli appunti

• Per richiedere una formazione personalizzata per questo corso, ti preghiamo di contattarci per organizzare.

Magellan è un motore di esecuzione distribuito open source per l'analisi geospaziale sui big data. Implementato in cima a Apache Spark, estende Spark SQL e fornisce un'abstrazione relativa per l'analisi geospaziale. Questo istruttore guidato, allenamento dal vivo introduce i concetti e gli approcci per l'attuazione di analisi geospaziale e viaggia i partecipanti attraverso la creazione di un'applicazione di analisi preditiva utilizzando Magellan su Spark. Al termine di questo corso, i partecipanti saranno in grado di:

Effettivamente chiedere, condividere e unire i set di dati geospaziali su scala Implementazione dei dati geospaziali nell'intelligenza aziendale e nelle applicazioni di analisi preditiva Utilizzare il contesto spaziale per estendere le capacità di dispositivi mobili, sensori, log e portatili

Il formato del corso

Interattiva lezione e discussione. Molti esercizi e pratiche. Implementazione a mano in un ambiente live-lab.

Opzioni di personalizzazione del corso

Per richiedere una formazione personalizzata per questo corso, si prega di contattarci per organizzare.

Apache Spark è un motore di elaborazione distribuito per l'analisi di gruppi di dati molto grandi. Può elaborare i dati in batch e in tempo reale, nonché eseguire apprendimento automatico, domande ad hoc e elaborazione grafica. .NET for Apache Spark è un framework gratuito, open-source e cross-platform di big data analytics che supporta applicazioni scritte in C# o F#. Questo allenamento diretto da istruttori, in diretta (online o on-site) è rivolto a sviluppatori che desiderano eseguire un’analisi dei big data utilizzando Apache Spark nelle loro applicazioni.NET. Al termine di questo corso, i partecipanti saranno in grado di:

Installazione e configurazione Apache Spark. Comprendere come.NET implementa le API Spark in modo che possano essere accessibili da un'applicazione.NET. Sviluppare applicazioni di elaborazione dei dati utilizzando C# o F#, in grado di elaborare set di dati la cui dimensione è misurata in terabyte e pedabyte. Sviluppare funzionalità di apprendimento automatico per un'applicazione.NET utilizzando le capacità Apache Spark. Eseguire analisi esplorative utilizzando SQL domande su big data sets.

Il formato del corso

Interattiva lezione e discussione. Molti esercizi e pratiche. Implementazione a mano in un ambiente live-lab.

Opzioni di personalizzazione del corso

Per richiedere una formazione personalizzata per questo corso, si prega di contattarci per organizzare.

SMACK è una raccolta di software per la piattaforma dati, cioè Apache Spark, Apache Mesos, Apache Akka, Apache Cassandra, e Apache Kafka. Utilizzando la scheda SMACK, gli utenti possono creare e scalare piattaforme di elaborazione dei dati. Questo allenamento diretto da istruttori, in diretta (online o on-site) è rivolto a scienziati dei dati che vogliono utilizzare la stack SMACK per costruire piattaforme di elaborazione dei dati per soluzioni di big data. Al termine di questo corso, i partecipanti saranno in grado di:

Implementazione di un'architettura del pipeline dei dati per il trattamento dei big data. Sviluppare un'infrastruttura di cluster con Apache Mesos e Docker. Analisi dei dati con Spark e Scala. Gestire i dati non strutturati con Apache Cassandra.

Il formato del corso

Interattiva lezione e discussione. Molti esercizi e pratiche. Implementazione a mano in un ambiente live-lab.

Opzioni di personalizzazione del corso

Per richiedere una formazione personalizzata per questo corso, si prega di contattarci per organizzare.

Apache Spark è un motore di analisi progettato per distribuire i dati attraverso un cluster al fine di elaborarli in parallelo. Contiene moduli per la trasmissione, SQL, apprendimento automatico e elaborazione grafica. Questo istruttore guidato, la formazione in diretta (online o on-site) è rivolto agli ingegneri che vogliono implementare Apache Spark sistema per il trattamento di grandi quantità di dati. Al termine di questo corso, i partecipanti saranno in grado di:

Installazione e configurazione Apache Spark. Conoscere la differenza tra Apache Spark e Hadoop MapReduce e quando utilizzare quale. Leggere rapidamente in e analizzare i set di dati molto grandi. Integrare Apache Spark con altri strumenti di apprendimento automatico.

Il formato del corso

Interattiva lezione e discussione. Molti esercizi e pratiche. Implementazione a mano in un ambiente live-lab.

Opzioni di personalizzazione del corso

Per richiedere una formazione personalizzata per questo corso, si prega di contattarci per organizzare.

La curva di apprendimento di Apache Spark sta lentamente aumentando all'inizio, ha bisogno di molti sforzi per ottenere il primo ritorno. Questo corso mira a saltare attraverso la prima parte difficile. Dopo aver seguito questo corso, i partecipanti comprenderanno le basi di Apache Spark , distingueranno chiaramente RDD da DataFrame, impareranno le API di Python e Scala , capiranno gli esecutori e le attività, ecc. Seguendo anche le migliori pratiche, questo corso si concentra fortemente su implementazione cloud, Databricks e AWS. Gli studenti capiranno anche le differenze tra AWS EMR e AWS Glue, uno degli ultimi servizi Spark di AWS. PUBBLICO: Data Engineer, DevOps , Data Scientist

OBBIETTIVO: Questo corso introdurrà Apache Spark . Gli studenti impareranno come Spark si inserisce nell'ecosistema Big Data e come utilizzare Spark per l'analisi dei dati. Il corso copre la shell Spark per l'analisi interattiva dei dati, gli interni Spark, le API Spark, Spark SQL , lo streaming Spark e l'apprendimento automatico e graphX. PUBBLICO: Sviluppatori / Analisti di dati

Spark NLP is an open source library, built on Apache Spark, for natural language processing with Python, Java, and Scala. It is widely used for enterprise and industry verticals, such as healthcare, finance, life science, and recruiting. This instructor-led, live training (online or onsite) is aimed at data scientists and developers who wish to use Spark NLP, built on top of Apache Spark, to develop, implement, and scale natural language text processing models and pipelines. By the end of this training, participants will be able to:

• Set up the necessary development environment to start building NLP pipelines with Spark NLP.
• Understand the features, architecture, and benefits of using Spark NLP.
• Use the pre-trained models available in Spark NLP to implement text processing.
• Learn how to build, train, and scale Spark NLP models for production-grade projects.
• Apply classification, inference, and sentiment analysis on real-world use cases (clinical data, customer behavior insights, etc.).

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Scala è una versione ridotta di Java per la programmazione funzionale e orientata agli oggetti su larga scala. Apache Spark Streaming è un componente esteso dell'API Spark per l'elaborazione di set di big data come flussi in tempo reale. Insieme, Spark Streaming e Scala consentono lo streaming di big data. Questa formazione dal vivo con istruttore (in loco o remoto) è rivolta agli ingegneri del software che desiderano trasmettere grandi quantità di dati con Spark Streaming e Scala . Al termine di questa formazione, i partecipanti saranno in grado di:

• Crea applicazioni Spark con il linguaggio di programmazione Scala .
• Utilizzare Spark Streaming per elaborare flussi continui di dati.
• Elaborazione di flussi di dati in tempo reale con Spark Streaming.

Formato del corso

• Conferenza e discussione interattiva.
• Molti esercizi e pratiche.
• Implementazione pratica in un ambiente live-lab.

Opzioni di personalizzazione del corso

• Per richiedere una formazione personalizzata per questo corso, ti preghiamo di contattarci per organizzare.

Spark SQL è il modulo di Apache Spark per lavorare con dati strutturati e non strutturati. Spark SQL fornisce informazioni sulla struttura dei dati e sul calcolo eseguito. Queste informazioni possono essere utilizzate per eseguire ottimizzazioni. Due usi comuni per Spark SQL sono:
- per eseguire query SQL .
- leggere i dati da un'installazione Hive esistente. In questo corso di formazione dal vivo con istruttore (in loco o remoto), i partecipanti impareranno come analizzare vari tipi di set di dati utilizzando Spark SQL . Al termine di questa formazione, i partecipanti saranno in grado di:

• Installa e configura Spark SQL .
• Eseguire l'analisi dei dati utilizzando Spark SQL .
• Interroga set di dati in diversi formati.
• Visualizza i dati e i risultati delle query.

Formato del corso

• Conferenza e discussione interattiva.
• Molti esercizi e pratiche.
• Implementazione pratica in un ambiente live-lab.

Opzioni di personalizzazione del corso

• Per richiedere una formazione personalizzata per questo corso, ti preghiamo di contattarci per organizzare.

This course is aimed at developers and data scientists who wish to understand and implement AI within their applications. Special focus is given to Data Analysis, Distributed AI and NLP.

MLlib è la libreria di machine learning (ML) di Spark. Il suo obiettivo è rendere l'apprendimento automatico pratico scalabile e facile. Comprende algoritmi e utilità di apprendimento comuni, tra cui classificazione, regressione, clustering, filtro collaborativo, riduzione della dimensionalità, nonché primitive di ottimizzazione di livello inferiore e API di pipeline di livello superiore. Si divide in due pacchetti:

• spark.mllib contiene l'API originale basata su RDD.
• spark.ml fornisce API di livello superiore basate su DataFrames per la costruzione di pipeline ML.

Pubblico Questo corso è rivolto a ingegneri e sviluppatori che desiderano utilizzare una libreria di macchine integrata per Apache Spark

Molti problemi del mondo reale possono essere descritti in termini di grafici. Ad esempio, il grafico Web, il grafico della rete sociale, il grafico della rete del treno e il grafico della lingua. Questi grafici tendono ad essere estremamente grandi; la loro elaborazione richiede una serie specializzata di strumenti e processi: questi strumenti e processi possono essere definiti Graph Computing (noto anche come Graph Analytics). In questo corso di formazione dal vivo con istruttore, i partecipanti apprenderanno le offerte tecnologiche e gli approcci di implementazione per l'elaborazione dei dati dei grafici. L'obiettivo è identificare gli oggetti del mondo reale, le loro caratteristiche e relazioni, quindi modellarli e elaborarli come dati usando un approccio di Graph Computing (noto anche come Graph Analytics). Iniziamo con un'ampia panoramica e approfondiamo strumenti specifici mentre passiamo attraverso una serie di case study, esercitazioni pratiche e distribuzioni dal vivo. Al termine di questa formazione, i partecipanti saranno in grado di:

• Comprendi come i dati del grafico sono persistenti e attraversati.
• Seleziona il framework migliore per una determinata attività (dai database dei grafici ai framework di elaborazione batch).
• Implementa Hadoop , Spark, GraphX e Pregel per eseguire il calcolo grafico su molte macchine in parallelo.
• Visualizza i problemi dei big data nel mondo reale in termini di grafici, processi e attraversamenti.

Formato del corso

• Parte lezione, parte discussione, esercitazioni e esercitazioni pratiche