14
COMPANY PROFILE

Master the chaos: from raw data to analytics - Andrea Pompili, Riccardo Rossi, Antonio Di Marco - Codemotion Milan 2016

Embed Size (px)

Citation preview

Page 1: Master the chaos: from raw data to analytics - Andrea Pompili, Riccardo Rossi, Antonio Di Marco - Codemotion Milan 2016

COMPANY PROFILE

Page 2: Master the chaos: from raw data to analytics - Andrea Pompili, Riccardo Rossi, Antonio Di Marco - Codemotion Milan 2016

Chi siamo ?in più punti diversi della superficie contemporaneamente.

• CY4GATE è una società italiana che si occupa di cyber intelligence

• Principalmente utilizziamo e sviluppiamo prodotti basati sullo stack ELK (Elasticsearch, Logstash, Kibana) per i nostri compiti di data analysis

Page 3: Master the chaos: from raw data to analytics - Andrea Pompili, Riccardo Rossi, Antonio Di Marco - Codemotion Milan 2016

Che cosa faremo oggi ?in più punti diversi della superficie contemporaneamente.

• Un laboratorio di programmazione che mostrerà tecnologie nuove per risolvere problemi antichi

• Cercheremo di capire chi traffica stupefacenti all’interno di carichi di caffè

Page 4: Master the chaos: from raw data to analytics - Andrea Pompili, Riccardo Rossi, Antonio Di Marco - Codemotion Milan 2016

Che cosa faremo oggi ?in più punti diversi della superficie contemporaneamente.

• Caricheremo ed elaboreremo dei dati eterogenei provenienti da diverse fonti di informazioni

• Creeremo delle visualizzazioni che permetteranno all’analista di navigare ed analizzare i dati al meglio

Page 5: Master the chaos: from raw data to analytics - Andrea Pompili, Riccardo Rossi, Antonio Di Marco - Codemotion Milan 2016

Setup Virtual Machine- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.

- Add/Active virtual network in Bridge

- Check the IP address

- Check Kibi Istance- http://xxx.xxx.xxx.xxx:5606

Page 6: Master the chaos: from raw data to analytics - Andrea Pompili, Riccardo Rossi, Antonio Di Marco - Codemotion Milan 2016

Working Folder- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.

- Download logtash- https://download.elastic.co/logstash/logstash/logstash-2.4.1.zip

- Download Working Folder (demo.zip)- Put into /home/codelab- unzip demo.zip

Page 7: Master the chaos: from raw data to analytics - Andrea Pompili, Riccardo Rossi, Antonio Di Marco - Codemotion Milan 2016

Reference- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.

- https://www.elastic.co/guide/en/elasticsearch/reference/2.3/index.html

- https://www.elastic.co/guide/en/logstash/2.4/index.html

- https://docs.siren.solutions/kibi/community/4.5.4/

Page 8: Master the chaos: from raw data to analytics - Andrea Pompili, Riccardo Rossi, Antonio Di Marco - Codemotion Milan 2016

Step 1a- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.

- Index- transport-data-customs- imsi-catcher-coffee- lloyds-data-customs- phone-tapping-padova- phone-tapping-short

Page 9: Master the chaos: from raw data to analytics - Andrea Pompili, Riccardo Rossi, Antonio Di Marco - Codemotion Milan 2016

Step 1b- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.

- Create Index on Kibi

Page 10: Master the chaos: from raw data to analytics - Andrea Pompili, Riccardo Rossi, Antonio Di Marco - Codemotion Milan 2016

Step 2a- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.

- Manage Script upload data

- approdi_trimestre.conf- brogliaccio_intercettazioni.conf- imsi.conf- lloyd_data.conf- shipping_details.conf- tabulato_corto.conf

Page 11: Master the chaos: from raw data to analytics - Andrea Pompili, Riccardo Rossi, Antonio Di Marco - Codemotion Milan 2016

Step 2b- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.

#Analizzare lo schema su Kibi e impostare i tipi corretti all’interno dei script di upload.- Ad esempio:

convert => ["Latitude", "float"]convert => ["Longitude", "float"]

#Creare un campo come tipo di dato Geopoint

#Creare un campo elapsed che esprima in millesecondi la durata dell'evento (telefonata)

Page 12: Master the chaos: from raw data to analytics - Andrea Pompili, Riccardo Rossi, Antonio Di Marco - Codemotion Milan 2016

Step 2c- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.

# Importare il date format ("dd/MM/yyyy HH:mm:ss") e il timezone (UTC,it) per uno specifico campo

# Estrarre sottocampi

Page 13: Master the chaos: from raw data to analytics - Andrea Pompili, Riccardo Rossi, Antonio Di Marco - Codemotion Milan 2016

Esempi di dashboard

Page 14: Master the chaos: from raw data to analytics - Andrea Pompili, Riccardo Rossi, Antonio Di Marco - Codemotion Milan 2016

Step 3- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.

• Creazione Join Filter

• Relations between Index Patterns

• Create a new visualization