Corso di formazione Apache Spark SQL

Questo corso è destinato a sviluppatori e data scientist che desiderano comprendere e implementare l'intelligenza artificiale nelle loro applicazioni. Particolare attenzione è rivolta all'analitica dei dati, all'intelligenza artificiale distribuita e all'elaborazione del linguaggio naturale.

L'analisi dei big data prevede il processo di esame di grandi quantità di set di dati diversi al fine di scoprire correlazioni, schemi nascosti e altre informazioni utili.

L'industria sanitaria ha enormi quantità di dati medici e clinici eterogenei complessi. L'applicazione dell'analisi dei big data sui dati sanitari presenta un enorme potenziale nel ricavare approfondimenti per migliorare l'erogazione dell'assistenza sanitaria. Tuttavia, l'enormità di questi set di dati pone grandi sfide nelle analisi e applicazioni pratiche in un ambiente clinico.

In questo corso di formazione dal vivo con istruttore (a distanza), i partecipanti impareranno come eseguire analisi dei big data in salute mentre eseguono una serie di esercitazioni pratiche in laboratorio dal vivo.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Installa e configura strumenti di analisi dei big data come Hadoop MapReduce e Spark
• Comprendi le caratteristiche dei dati medici
• Applicare tecniche di big data per gestire i dati medici
• Studiare sistemi e algoritmi per big data nel contesto di applicazioni sanitarie

Pubblico

• Sviluppatori
• Scienziati dei dati

Formato del corso

• Parte lezione, parte discussione, esercitazioni e esercitazioni pratiche.

Nota

• Per richiedere una formazione personalizzata per questo corso, ti preghiamo di contattarci per organizzare.

In questo corso di formazione dal vivo con istruttore in Italia, i partecipanti impareranno a conoscere le offerte tecnologiche e gli approcci di implementazione per l'elaborazione dei dati grafici. L'obiettivo è identificare gli oggetti del mondo reale, le loro caratteristiche e relazioni, quindi modellare queste relazioni ed elaborarle come dati utilizzando un approccio Graph Computing (noto anche come Graph Analitica). Iniziamo con un'ampia panoramica e ci concentriamo su strumenti specifici mentre esaminiamo una serie di casi di studio, esercizi pratici e implementazioni dal vivo.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Informazioni sul modo in cui i dati del grafo vengono salvati in modo permanente e attraversati.
• Selezionare il framework migliore per una determinata attività (dai database a grafo ai framework di elaborazione batch).
• Implementa Hadoop, Spark, GraphX e Pregel per eseguire il calcolo dei grafi su molte macchine in parallelo.
• Visualizza i problemi reali dei big data in termini di grafici, processi e attraversamenti.

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto agli amministratori di sistema che desiderano imparare a configurare, distribuire e gestire Hadoop cluster all'interno della propria organizzazione.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Installare e configurare Apache Hadoop.
• Comprendere i quattro componenti principali dell'ecosistema Hadoop: HDFS, MapReduce, YARN e Hadoop Common.
• Usare Hadoop Distributed File System (HDFS) per ridimensionare un cluster fino a centinaia o migliaia di nodi.  
• Configurare HDFS in modo che funzioni come motore di archiviazione per le distribuzioni Spark locali.
• Configura Spark per accedere a soluzioni di archiviazione alternative come Amazon S3 e sistemi di database NoSQL come Redis, Elasticsearch, Couchbase, Aerospike, ecc.
• Esegui attività amministrative come il provisioning, la gestione, il monitoraggio e la protezione di un cluster Apache Hadoop.

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) introduce Hortonworks Data Platform (HDP) e guida i partecipanti attraverso l'implementazione della soluzione Spark + Hadoop.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Utilizzare Hortonworks per eseguire in modo affidabile Hadoop su larga scala.
• Unifica le funzionalità di sicurezza, governance e operazioni di Hadoop con i flussi di lavoro analitici agili di Spark.
• Utilizza Hortonworks per analizzare, convalidare, certificare e supportare ciascuno dei componenti di un progetto Spark.
• Elabora diversi tipi di dati, inclusi quelli strutturati, non strutturati, in movimento e inattivi.

In questo corso di formazione dal vivo con istruttore in Italia (in loco o in remoto), i partecipanti impareranno come impostare e integrare diversi Stream Processing framework con i sistemi di archiviazione dei big data esistenti e le relative applicazioni software e microservizi.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Installare e configurare diversi framework Stream Processing, ad esempio Spark Streaming e Kafka Streaming.
• Comprendere e selezionare il framework più appropriato per il lavoro.
• Elaborazione dei dati in modo continuo, simultaneo e record per record.
• Integrare Stream Processing le soluzioni con database, data warehouse, data lake, ecc. esistenti.
• Integra la libreria di elaborazione dei flussi più appropriata con le applicazioni e i microservizi aziendali.

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto ai data scientist che desiderano utilizzare lo stack SMACK per creare piattaforme di elaborazione dati per soluzioni di big data.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Implementare un'architettura di pipeline di dati per l'elaborazione dei big data.
• Sviluppa un'infrastruttura cluster con Apache Mesos e Docker.
• Analizza i dati con Spark e Scala.
• Gestisci i dati non strutturati con Apache Cassandra.

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto agli ingegneri che desiderano configurare e implementare Apache Spark un sistema per l'elaborazione di grandi quantità di dati.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Installare e configurare Apache Spark.
• Elabora e analizza rapidamente set di dati molto grandi.
• Comprendere la differenza tra Apache Spark e Hadoop MapReduce e quando usarlo.
• Integra Apache Spark con altri strumenti di Machine Learning.

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto agli amministratori di sistema di livello principiante e intermedio che desiderano distribuire, gestire e ottimizzare i cluster Spark.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Installare e configurare Apache Spark in vari ambienti.
• Gestisci le risorse del cluster e monitora le applicazioni Spark.
• Ottimizzare le prestazioni dei cluster Spark.
• Implementa misure di sicurezza e garantisci un'elevata disponibilità.
• Eseguire il debug e risolvere i problemi comuni di Spark.

La curva di apprendimento di Apache Spark sta lentamente aumentando all'inizio, ha bisogno di molti sforzi per ottenere il primo ritorno. Questo corso mira a saltare attraverso la prima parte difficile. Dopo aver seguito questo corso, i partecipanti comprenderanno le basi di Apache Spark , distingueranno chiaramente RDD da DataFrame, impareranno le API di Python e Scala , capiranno gli esecutori e le attività, ecc. Seguendo anche le migliori pratiche, questo corso si concentra fortemente su implementazione cloud, Databricks e AWS. Gli studenti capiranno anche le differenze tra AWS EMR e AWS Glue, uno degli ultimi servizi Spark di AWS.

PUBBLICO:

Data Engineer, DevOps , Data Scientist

OBBIETTIVO:

Questo corso introdurrà Apache Spark . Gli studenti impareranno come Spark si inserisce nell'ecosistema Big Data e come utilizzare Spark per l'analisi dei dati. Il corso copre la shell Spark per l'analisi interattiva dei dati, gli interni Spark, le API Spark, Spark SQL , lo streaming Spark e l'apprendimento automatico e graphX.

PUBBLICO:

Sviluppatori / Analisti di dati

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto a data scientist e sviluppatori che desiderano utilizzare Spark NLP, basato su Apache Spark, per sviluppare, implementare e scalare modelli e pipeline di elaborazione del testo in linguaggio naturale.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Configura l'ambiente di sviluppo necessario per iniziare a costruire pipeline NLP con Spark NLP.
• Comprendere le caratteristiche, l'architettura e i vantaggi dell'utilizzo Spark NLP.
• Utilizzare i modelli pre-addestrati disponibili in Spark NLP per implementare l'elaborazione del testo.
• Scopri come creare, addestrare e scalare Spark NLP modelli per progetti di produzione.
• Applica la classificazione, l'inferenza e l'analisi del sentiment su casi d'uso reali (dati clinici, approfondimenti sul comportamento dei clienti, ecc.).

In questo corso di formazione dal vivo con istruttore in Italia, i partecipanti impareranno come utilizzare Python e Spark insieme per analizzare i big data mentre lavorano su esercizi pratici.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Scopri come utilizzare Spark con Python per analizzare Big Data.
• Lavora su esercizi che imitano casi del mondo reale.
• Utilizzare diversi strumenti e tecniche per l'analisi dei big data utilizzando PySpark.

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto agli sviluppatori che desiderano utilizzare e integrare Spark, Hadoop e Python per elaborare, analizzare e trasformare set di dati grandi e complessi.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Configurare l'ambiente necessario per iniziare a elaborare i big data con Spark, Hadoop e Python.
• Comprendere le funzionalità, i componenti principali e l'architettura di Spark e Hadoop.
• Scopri come integrare Spark, Hadoop e Python per l'elaborazione dei big data.
• Esplora gli strumenti nell'ecosistema Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka e Flume).
• Crea sistemi di raccomandazione di filtraggio collaborativi simili a Netflix, YouTube, Amazon, Spotify e Google.
• Usa Apache Mahout per ridimensionare gli algoritmi di machine learning.

MLlib è la libreria di machine learning (ML) di Spark. Il suo obiettivo è rendere l'apprendimento automatico pratico scalabile e facile. Comprende algoritmi e utilità di apprendimento comuni, tra cui classificazione, regressione, clustering, filtro collaborativo, riduzione della dimensionalità, nonché primitive di ottimizzazione di livello inferiore e API di pipeline di livello superiore.

Si divide in due pacchetti:

• spark.mllib contiene l'API originale basata su RDD.

• spark.ml fornisce API di livello superiore basate su DataFrames per la costruzione di pipeline ML.

Pubblico

Questo corso è rivolto a ingegneri e sviluppatori che desiderano utilizzare una libreria di macchine integrata per Apache Spark