Corso di formazione Python, Spark e Hadoop per Big Data

Pubblico Obiettivo:

Il corso è destinato ai professionisti IT in cerca di una soluzione per archiviare e processare grandi insiemi di dati in un ambiente di sistema distribuito.

Goal:

Conoscenze approfondite nell'amministrazione del cluster Hadoop.

Questa formazione guidata dal formatore in Italia (online o sul posto) si rivolge a data scientist e ingegneri di livello intermedio che desiderano utilizzare Google Colab e Apache Spark per il processing e l'analisi dei big data.

Alla fine di questa formazione, i partecipanti saranno in grado di:

• Configurare un ambiente di big data utilizzando Google Colab e Spark.
• Processare e analizzare grandi set di dati efficacemente con Apache Spark.
• Visualizzare i big data in un ambiente collaborativo.
• Integrare Apache Spark con strumenti basati sul cloud.

L'analisi dei big data coinvolge il processo di esaminare grandi quantità di set di dati vari per scoprire correlazioni, pattern nascosti e altre utili intuizioni.

L'industria sanitaria dispone di enormi quantità di dati medici e clinici complessi e eterogenei. L'applicazione dell'analisi dei big data ai dati sanitari presenta un enorme potenziale per derivare intuizioni che migliorino la fornitura di cure sanitarie. Tuttavia, l'enormità di questi set di dati comporta grandi sfide nelle analisi e nelle applicazioni pratiche in un ambiente clinico.

In questo training guidato dall'instruttore (remoto), i partecipanti impareranno come eseguire l'analisi dei big data in campo sanitario attraverso una serie di esercizi pratica guidati dal vivo.

Al termine di questo training, i partecipanti saranno in grado di:

• Installare e configurare strumenti di analisi dei big data come Hadoop MapReduce e Spark
• Comprendere le caratteristiche dei dati medici
• Applicare tecniche di big data per gestire i dati medici
• Studiare sistemi e algoritmi di big data nel contesto delle applicazioni sanitarie

Pubblico di riferimento

• Sviluppatori
• Data Scientists

Formato del Corso

• Parte lezione, parte discussione, esercizi e pratica intensiva.

Note

• Per richiedere un training personalizzato per questo corso, si prega di contattarci per organizzarlo.

Pubblico Obiettivo:

Questo corso è progettato per demistificare la tecnologia big data/Hadoop e mostrare che non è difficile da comprendere.

Questo corso di formazione diretto dall'instruttore (online o in presenza) è rivolto agli amministratori di sistema che desiderano imparare come configurare, distribuire e gestire cluster Hadoop all'interno della loro organizzazione.

Al termine di questo corso, i partecipanti saranno in grado di:

• Installare e configurare Apache Hadoop.
• Comprendere i quattro principali componenti nell'ecosistema Hadoop: HDFS, MapReduce, YARN e Hadoop Common.
• Utilizzare il Hadoop Distributed File System (HDFS) per scalare un cluster a centinaia o migliaia di nodi.
• Configurare HDFS come motore di archiviazione per distribuzioni Spark on-premise.
• Configurare Spark per accedere a soluzioni di archiviazione alternative come Amazon S3 e sistemi database NoSQL come Redis, Elasticsearch, Couchbase, Aerospike, ecc.
• Eseguire attività amministrative come provisioning, gestione, monitoraggio e protezione di un cluster Apache Hadoop.

In questo training guidato dal formatore in Italia (sul posto o remoto), i partecipanti impareranno come configurare e integrare diversi framework per lo Stream Processing con sistemi di archiviazione dati esistenti e applicazioni software correlate.

Al termine di questo training, i partecipanti saranno in grado di:

• Installare e configurare diversi framework per lo Stream Processing, come Spark Streaming e Kafka Streaming.
• Comprendere e selezionare il framework più appropriato per il lavoro.
• Elaborare i dati in modo continuo, concorrente e record per record.
• Integrare soluzioni di Stream Processing con database esistenti, data warehouse, data lakes, ecc.
• Integrare la libreria di elaborazione dello stream più appropriata con applicazioni aziendali e microservizi.

Questo corso di formazione guidato dal docente (online o in loco) è rivolto ai data scientist che desiderano utilizzare il stack SMACK per costruire piattaforme di elaborazione dei dati per soluzioni a grandi dimensioni.

Al termine di questo corso, i partecipanti saranno in grado di:

• Implementare un'architettura della pipeline dei dati per l'elaborazione dei grandi volumi di dati.
• Sviluppare un'infrastruttura cluster con Apache Mesos e Docker.
• Analizzare i dati con Spark e Scala.
• Gestire dati non strutturati con Apache Cassandra.

Questo training guidato dal formatore in Italia (online o in presenza) è rivolto agli ingegneri che desiderano configurare e implementare il sistema Apache Spark per l'elaborazione di grandi quantità di dati.

Alla fine di questo corso, i partecipanti saranno in grado di:

• Installare e configurare Apache Spark.
• Lettura rapida ed analisi di grandi quantità di dati.
• Capire le differenze tra Apache Spark e Hadoop MapReduce e quando utilizzare ciascuno dei due.
• Integrare Apache Spark con altri strumenti di apprendimento automatico.

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto agli amministratori di sistema di livello principiante e intermedio che desiderano distribuire, gestire e ottimizzare i cluster Spark.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Installare e configurare Apache Spark in vari ambienti.
• Gestisci le risorse del cluster e monitora le applicazioni Spark.
• Ottimizzare le prestazioni dei cluster Spark.
• Implementa misure di sicurezza e garantisci un'elevata disponibilità.
• Eseguire il debug e risolvere i problemi comuni di Spark.

L'andamento della curva di apprendimento di Apache Spark si intensifica lentamente all'inizio, richiedendo molto sforzo per ottenere i primi risultati. Questo corso mira a superare la prima parte difficile. Dopo aver completato il corso, i partecipanti comprenderanno le basi di Apache Spark, sapranno distinguere chiaramente RDD da DataFrame, impareranno l'API Python e Scala, capiranno gli esecutori e i task, ecc. Inoltre, seguendo le best practice, questo corso si concentra fortemente sulla distribuzione nel cloud, su Databricks e AWS. Gli studenti comprenderanno anche le differenze tra AWS EMR e AWS Glue, uno dei servizi Spark più recenti di AWS.

PUBBLICO:

Data Engineer, DevOps, Data Scientist

OBBIETTIVO:

Questo corso introdurrà Apache Spark. Gli studenti impareranno come Spark si inserisce nell'ecosistema Big Data e come utilizzare Spark per l'analisi dei dati. Il corso coprirà la shell di Spark per l'analisi dei dati interattiva, le interne di Spark, le API di Spark, Spark SQL, il streaming di Spark, e l'apprendimento automatico e GraphX.

PUBBLICO OBBIETTIVO :

Sviluppatori / Analisti dei Dati

Questo corso di formazione dal vivo con istruttore in Italia (online o in loco) è rivolto a data scientist e sviluppatori che desiderano utilizzare Spark NLP, basato su Apache Spark, per sviluppare, implementare e scalare modelli e pipeline di elaborazione del testo in linguaggio naturale.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Configura l'ambiente di sviluppo necessario per iniziare a costruire pipeline NLP con Spark NLP.
• Comprendere le caratteristiche, l'architettura e i vantaggi dell'utilizzo Spark NLP.
• Utilizzare i modelli pre-addestrati disponibili in Spark NLP per implementare l'elaborazione del testo.
• Scopri come creare, addestrare e scalare Spark NLP modelli per progetti di produzione.
• Applica la classificazione, l'inferenza e l'analisi del sentiment su casi d'uso reali (dati clinici, approfondimenti sul comportamento dei clienti, ecc.).

In questo corso di formazione dal vivo con istruttore in Italia, i partecipanti impareranno come utilizzare Python e Spark insieme per analizzare i big data mentre lavorano su esercizi pratici.

Al termine di questo corso di formazione, i partecipanti saranno in grado di:

• Scopri come utilizzare Spark con Python per analizzare Big Data.
• Lavora su esercizi che imitano casi del mondo reale.
• Utilizzare diversi strumenti e tecniche per l'analisi dei big data utilizzando PySpark.

Spark SQL è il modulo di Apache Spark per lavorare con dati strutturati e non strutturati. Spark SQL fornisce informazioni sulla struttura dei dati e sul calcolo che viene eseguito. Queste informazioni possono essere utilizzate per eseguire ottimizzazioni. Due utilizzi comuni di Spark SQL sono:
- l'esecuzione di query SQL.
- la lettura di dati da un'installazione esistente di Hive.

In questa formazione guidata dal docente (in presenza o a distanza), i partecipanti impareranno come analizzare vari set di dati utilizzando Spark SQL.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Installare e configurare Spark SQL.
• Eseguire l'analisi dei dati utilizzando Spark SQL.
• Eseguire query su set di dati in diversi formati.
• Visualizzare i dati e i risultati delle query.

Formato del Corso

• Lezione interattiva e discussione.
• Molti esercizi e pratica.
• Implementazione pratica in un ambiente live-lab.

Opzioni di Personalizzazione del Corso

• Per richiedere una formazione personalizzata per questo corso, si prega di contattarci per organizzare l'evento.

Stratio è una piattaforma orientata ai dati che integra big data, AI e governance in un'unica soluzione. I moduli Rocket e Intelligence permettono esplorazioni rapide dei dati, trasformazioni ed analisi avanzate negli ambienti aziendali.

Questa formazione guidata dal docente (online o in sede) è rivolta a professionisti dei dati di livello intermedio che desiderano utilizzare i moduli Rocket e Intelligence di Stratio efficacemente con PySpark, concentrandosi su strutture di ciclo, funzioni definite dall'utente e logica avanzata dei dati.

Al termine di questa formazione, i partecipanti saranno in grado di:

• Navigare e lavorare all'interno della piattaforma Stratio utilizzando i moduli Rocket e Intelligence.
• Applicare PySpark nel contesto di ingestione, trasformazione ed analisi dei dati.
• Utilizzare cicli e logica condizionale per controllare i flussi di lavoro dei dati e le attività di feature engineering.
• Creare e gestire funzioni definite dall'utente (UDFs) per operazioni di dati riutilizzabili in PySpark.

Formato del Corso

• Lezione interattiva e discussione.
• Molte esercitazioni e pratica.
• Implementazione pratica in un ambiente di laboratorio live.

Opzioni di Personalizzazione del Corso

• Per richiedere una formazione personalizzata per questo corso, contattateci per organizzare l'evento.