Grazie per aver inviato la tua richiesta! Uno dei nostri team membri ti contatterà a breve.
Grazie per aver inviato il tuo prenotazione! Uno dei nostri team membri ti contatterà a breve.
Struttura del corso
Giorno 01
Panoramica sulla Business Intelligence basata sui Big Data per l’analisi dell'intelligence criminale
- Casi studio riguardanti la polizia – Analisi predittiva applicata al pattugliamento
- Tasso di adozione dei Big Data nelle forze di polizia e il modo in cui si stanno orientando verso l’analitica predittiva
- Novità tecnologiche quali sensori per rilevare spari, video di sorveglianza e social media
- Riduzione dell’eccesso informativo tramite l’utilizzo delle tecnologie Big Data
- Integrazione tra i dati in formato Big Data e quelli storici conservati nei sistemi preesistenti
- Nozioni fondamentali sulle tecnologie abilitanti per l’analisi predittiva
- Integrazione dei dati e visualizzazione tramite dashboard
- Gestione delle frodi
- Regole aziendali e rilevamento delle frodi
- Rilevamento e profilazione delle minacce
- Analisi costi-benefici legata all’implementazione dei Big Data
Introduzione ai Big Data
- Le caratteristiche principali: Volume, Varietà, Velocità e Veridicità
- Architettura MPP (Massively Parallel Processing)
- Data Warehouse – struttura fissa e database che si evolvono lentamente
- Database MPP: Greenplum, Exadata, Teradata, Netezza, Vertica ecc.
- Soluzioni basate su Hadoop – non richiedono una struttura predefinita per i dati
- Ciclo operativo tipico: HDFS, MapReduce, recupero dei dati da HDFS
- Apache Spark per l’elaborazione di flussi di dati in tempo reale
- Elaborazioni batch – adatte a analisi non interattive
- Gestione del volume: CEP – processamento di flussi temporali
- Scelte principali per il CEP: prodotti quali Infostreams, Apama, MarkLogic ecc.
- Alternativa meno matura nel settore: Storm/S4
- Database NoSQL – a colonne o a coppie chiave-valore: utili come supporto analitico ai database tradizionali
Soluzioni NoSQL
- Archivi key-value: Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
- Archivi key-value: Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
- Archivi gerarchici key-value: GT.m, Cache
- Archivi key-value ordinati: TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
- Caching key-value: Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
- Archivi tuple: Gigaspaces, Coord, Apache River
- Database orientati agli oggetti: ZopeDB, DB40, Shoal
- Document Store: CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, database XML, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
- Archivi a colonne larghe: BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI
Tipologie di dati e problematiche legate alla loro pulizia nei Big Data
- I database relazionali hanno una struttura fissa: non favoriscono un ambiente flessibile ed esplorativo
- I sistemi NoSQL offrono una semi-strutturazione: sufficiente per immagazzinare dati anche senza uno schema predefinito
- Problematiche legate alla pulizia dei dati
Hadoop
- Quando scegliere Hadoop?
- I database aziendali possono gestire volumi enormi di informazioni, ma richiedono una struttura rigida e non si prestano all’esplorazione spontanea
- I dati semi-strutturati risultano difficili da gestire con i sistemi tradizionali
- L’archiviazione su larga scala implica sforzi considerevoli e un sistema statico anche dopo l’implementazione
- Per gestire grandi quantità di dati eterogenei su hardware standard, si predilige Hadoop
- Per creare una cluster Hadoop sono necessari soltanto dispositivi hardware commerciali
Introduzione a MapReduce e HDFS
- MapReduce distribuisce i calcoli su diversi server
- HDFS consente di rendere i dati accessibili in modo locale alle operazioni computazionali, garantendo la ridondanza
- I dati possono non essere strutturati o prevedere uno schema fisso (a differenza dei database relazionali)
- È responsabilità dello sviluppatore interpretare correttamente i dati raccolti
- Sviluppare con MapReduce richiede Java: pro e contro; inoltre occorre caricare manualmente i dati su HDFS
Giorno 02
L’ecosistema Big Data – Costruzione di un flusso ETL (Extract, Transform, Load) e scelta degli strumenti adeguati
- Hadoop contro altre soluzioni NoSQL
- Accesso casuale ai dati in modalità interattiva
- HBase: database a colonne che opera su base Hadoop
- L’accesso casuale è limitato dal volume massimo di 1 PB
- Non adatto per analisi ad hoc, ma efficace per registrazione dati, conteggi e analisi temporali
- Sqoop: trasferimento dei dati dai database verso Hive o HDFS (accesso tramite JDBC/ODBC)
- Flume: inoltro di flussi di dati come quelli di log verso HDFS
Sistemi per la gestione dei Big Data
- Quando componenti e nodi computazionali si aggiungono o si guastano, entra in gioco ZooKeeper: utilizzato per configurazione, coordinamento e servizi di denominazione
- Per gestire pipeline complesse e workflow complessi si ricorre a Oozie: facilita la gestione dipendenze e concatenazioni dei processi
- Ambari si occupa del deploy, della configurazione, della gestione cluster e degli aggiornamenti tecnici (operazioni da amministratore di sistema)
- Nell’ambiente Cloud: Whirr permette il deployment rapido dei sistemi
Analitica predittiva – Tecniche fondamentali e Business Intelligence basata sull’apprendimento automatico
- Nozioni introduttive all’apprendimento automatico
- Tecniche di classificazione dei dati
- Predizione Bayesiana: preparazione del file addestrativo
- Macchine a vettori di supporto (Support Vector Machine)
- Algebra p-Tree e analisi verticale in KNN
- Reti neurali
- Gestione di dataset complessi: Random Forest (RF)
- Automatizzazione dell’elaborazione: Multi-model ensemble RF
- Automazione tramite Soft10-M
- Treeminer – strumento per l’analisi testuale
- Apprendimento agile
- Apprendimento basato su agenti
- Distribuzione dei processi di apprendimento
- Strumenti open source utilizzati nell’analitica predittiva: R, Python, Rapidminer, Mahut
Ecosistema dell’analisi predittiva e sue applicazioni nell’intelligence criminale
- Tecnologia e procedure investigative
- Analisi per l’estrazione di intuizioni significative
- Visualizzazione dei dati per migliorare la comprensione
- Analitica predittiva strutturata
- Analitica predittiva non strutturata
- Profilazione di minacce, frodi e fornitori sospetti
- Sistemi per la raccomandazione automatizzata
- Rilevamento dei pattern significativi
- Identificazione automatica di regole e scenari: fallimenti, frodi, ottimizzazioni
- Individuazione delle cause profonde di un problema
- Analisi del sentiment
- Analitica CRM
- Analitica sulle reti relazionali
- Estrazione informazioni testuali da verbali, dichiarazioni dei testimoni e contenuti presenti su internet
- Rivista assistita dalle tecnologie
- Analisi delle frodi
- Analisi in tempo reale
Giorno 03
Analisi scalabili e in tempo reale su piattaforma Hadoop
- Perché gli algoritmi tradizionali faticano ad operare in ambiente Hadoop/HDFS
- Apache Hama: per il calcolo distribuito sincrono a massiva scala
- Apache Spark: potente per l’elaborazione cluster e le analisi temporali
- CMU Graphics Lab2: approccio asincrono basato sui grafi per la distribuzione computazionale
- Treeminer propone l’algebra p-KNN, utile a ridurre i requisiti hardware necessari per il calcolo
Strumenti per l’eDiscovery e le indagini forensi
- Confronto tra i costi ed efficienza operativa dell’analisi dei Big Data rispetto ai database tradizionali
- Coding predittivo e rivista assistita dalle tecnologie (TAR)
- Demo in tempo reale tramite vMiner per dimostrare come il TAR acceleri l’indagine
- Indicizzazione più rapida grazie a HDFS – maggiore velocità di trattamento dei dati
- NLP (elaborazione del linguaggio naturale): prodotti e tecniche open source
- Elaborazione linguistica multilingue per gestire contenuti in lingue straniere
Business Intelligence basata sui Big Data per la cybersecurity – Panoramica integrata, raccolta dati veloce e rilevamento precoce delle minacce
- Nozioni fondamentali sull’analisi della sicurezza: superficie di attacco, configurazioni errate e difese informatiche
- Infrastruttura di rete – enorme capacità di trasmissione dei dati e flusso ETL adattato alle analisi in tempo reale
- Approccio predittivo vs prescrittivo: regole fisse versus rilevamento automatizzato delle minacce mediante i metadati
Raccogliere dati eterogenei per l’analisi dell’intelligence criminale
- Utilizzo di IoT come sensori per acquisire informazioni
- Satelliti come strumenti per il monitoraggio domestico e territoriale
- Raccolta dati video e dalle telecamere per identificare i colpevoli
- Ulteriori fonti: droni, videocamere indossabili, sistemi GPS e sensori termici
- Combinazione tra acquisizione automatizzata di dati e informazioni provenienti da testimoni, interrogatori o ricerche documentali
- Proiezioni riguardo a potenziali episodi criminali
Giorno 04
Business Intelligence anti-frode basata sui Big Data – Analisi dei modelli di frode
- Classificazione fondamentale: analisi predittiva vs regole rigide
- Tecniche di machine learning supervisionato e non supervisionato per rilevare schemi fraudolenti
- Frodi tra aziende, truffe assicurative, falsificazioni fiscali ed evasione fiscale
Analitica dei social media – Raccogliere e analizzare informazioni utili alle indagini
- Modalità con cui i criminali utilizzano i social network per organizzarsi, reclutare membri o pianificare le azioni
- API ETL per estrarre contenuti dai vari social media
- Gestione di testo, immagini, metadati e video
- Analisi del sentiment attraverso i post pubblici su tali piattaforme
- Filtri contestuali ed extracontestuali per selezionare i contenuti pertinenti
- Dashboard unificato in grado di aggregare informazioni provenienti da più social network
- Profilazione automatizzata degli utenti iscritti
- Per ogni categoria d’analisi, sarà fornita una demo interattiva tramite il tool Treeminer
Evoluzione dei Big Data nell’elaborazione delle immagini e dei video
- Tecniche di archiviazione per immagini su larga scala: soluzioni utilizzabili per dataset superiori al petabyte
- LTFS (Linear Tape File System) e LTO (Linear Tape Open)
- GPFS-LTFS – sistema a più livelli adatto all’immagazzinamento di enormi quantità di contenuti visivi
- Nozioni fondamentali dell’analisi delle immagini
- Riconoscimento degli oggetti raffigurati
- Segmentazione dei contenuti visivi
- Tracciamento del movimento nell’ambiente
- Reconstruzione tridimensionale delle scene
Biometria, DNA e programmi avanzati di identificazione umana
- Oltre alle impronte digitali e al riconoscimento facciale
- Riconoscimento vocale, analisi del tipo di digitazione (keystroke) e CODIS – sistema unificato per l’analisi genetica
- Dall’analisi puramente genetica si passa alla fenotipizzazione forense: ricostruzione del volto partendo da campioni DNA
Dashboard Big Data – facilità di accesso e visualizzazione dei dati raccolti:
- Integrazione tra le piattaforme operative esistenti e la dashboard Big Data
- Gestione centralizzata dei dati in formato Big Data
- Caso studio su soluzioni Dashboard: Tableau e Pentaho
- Sfruttare l’infrastruttura Big Data per offrire servizi geolocalizzati alle istituzioni governative
- Sistemi di tracciamento e monitoraggio efficaci
Giorno 05
Modalità per dimostrare i benefici dell’implementazione dei sistemi Business Intelligence Big Data:
- Calcolo del ROI (Return on Investment) conseguito dall’adozione di queste tecnologie
- Casi studio che evidenziano il risparmio di tempo degli analisti nella raccolta e preparazione dati – aumento complessivo della produttività
- Minore spesa legata alle licenze dei database
- Risparmi economici derivanti da servizi geolocalizzati
- Riduzione delle perdite dovute alla prevenzione preventiva delle frodi
- Strutturazione di un modello foglio elettronico per stimare spese e vantaggi economici legati all’utilizzo dei Big Data
Procedimento passo dopo passo per sostituire un sistema dati legacy con una soluzione Big Data:
- Mappa di migrazione verso le tecnologie Big Data
- Informazioni essenziali da considerare prima della progettazione
- Modalità alternative per determinare Volume, Velocità, Varietà e Veridicità dei dati in gioco
- Metodi per stimare il tasso di crescita futura dei dati
- Casi studio di successo
Rassegna dei principali fornitori Big Data e delle rispettive soluzioni:
- Accenture
- APTEAN (ex CDC Software)
- Cisco Systems
- Cloudera
- Dell
- EMC
- GoodData Corporation
- Guavus
- Hitachi Data Systems
- Hortonworks
- HP
- IBM
- Informatica
- Intel
- Jaspersoft
- Microsoft
- MongoDB (ex 10Gen)
- MU Sigma
- Netapp
- Opera Solutions
- Oracle
- Pentaho
- Platfora
- Qliktech
- Quantum
- Rackspace
- Revolution Analytics
- Salesforce
- SAP
- SAS Institute
- Sisense
- Software AG/Terracotta
- Soft10 Automation
- Splunk
- Sqrrl
- Supermicro
- Tableau Software
- Teradata
- Think Big Analytics
- Tidemark Systems
- Treeminer
- VMware (gruppo EMC)
Sessione di domande e risposte
Requisiti
- Conoscenza dei processi e dei sistemi informativi utilizzati dalle forze dell’ordine
- Comprensione di base di SQL/Oracle o di database relazionali
- Conoscenze fondamentali di statistica (al livello dell’utilizzo delle foglie di calcolo)
Destinatari
- Specialisti del settore della sicurezza con competenze tecniche.
35 ore
Recensioni (3)
nozioni di base e ha amato i documenti e gli esercizi preparati
Rekha Nallam - GE Medical Systems Polska Sp. z o.o.
Corso - Introduction to Predictive AI
Traduzione automatica
Deepthi era molto sensibile alle mie esigenze, sapeva quando aggiungere strati di complessità e quando instead trattenersi e adottare un approccio più strutturato. Deepthi ha davvero lavorato al mio ritmo e si è assicurata che potessi utilizzare le nuove funzioni/strumenti da solo, mostrandomi prima come fare e poi lasciandomi riprodurre gli elementi di persona, il che ha realmente aiutato a consolidare la formazione. Non potrei essere più felice dei risultati di questa formazione e del livello di competenza di Deepthi!
Deepthi - Invest Northern Ireland
Corso - IBM Cognos Analytics
Traduzione automatica
era ben preparato - e è molto simpatico
Oliver - Post CH AG
Corso - Splunk Fundamentals
Traduzione automatica
