View
5.164
Download
6
Category
Tags:
Preview:
DESCRIPTION
Log analysis Open Source con Logstash, Elasticsearch e Kibana. A cosa serve la log analysis? Panoramica sulle possibilita' offerte da Logstash, Elasticsearch e Kibana per la gestione centralizzata open source di log.
Citation preview
#servertraining
twitter.com/servermanageditwww.servermanaged.it
Log AnalysisLog Analysis Open Source Open Sourcecon con
LogstashLogstashElasticsearch &Elasticsearch &
KibanaKibana
#servertraining
twitter.com/servermanageditwww.servermanaged.it
Slides a cura di Slides a cura di Valentino GagliardiValentino Gagliardi
Technical Manager at ServerManaged.itTechnical Manager at ServerManaged.it
Devop & Sysadmin vecchia scuola, consulente informatico Devop & Sysadmin vecchia scuola, consulente informatico per small/medium business, cloud, hosting operations.per small/medium business, cloud, hosting operations.
#servertraining
twitter.com/servermanageditwww.servermanaged.it
SommarioSommario●Log analysis, a cosa serve?Log analysis, a cosa serve?●In principio era...In principio era...●Cos'e' LogstashCos'e' Logstash●Cos'e' ElasticsearchCos'e' Elasticsearch●Cos'e' KibanaCos'e' Kibana●The big picture, un setup tipicoThe big picture, un setup tipico●Ma Splunk? E Loggly?Ma Splunk? E Loggly?●Logstash, vantaggiLogstash, vantaggi
#servertraining
twitter.com/servermanageditwww.servermanaged.it
Log analysisLog analysis::““is an art and science is an art and science
seeking to make sense seeking to make sense out of computer-out of computer-
generated records”generated records”
#servertraining
twitter.com/servermanageditwww.servermanaged.it
Tradotto:Tradotto:dare un senso ad una dare un senso ad una
montagna di log montagna di log provenienti da server, provenienti da server,
routers, eccrouters, ecc
#servertraining
twitter.com/servermanageditwww.servermanaged.it
LogLog::I registri di un sistema.I registri di un sistema.Se c'e' un problema sul Se c'e' un problema sul server Y c'e' anche una server Y c'e' anche una
traccia nei log.traccia nei log.
#servertraining
twitter.com/servermanageditwww.servermanaged.it
Log analysisLog analysis per: per:- tracciare i problemi- tracciare i problemi
- prevenire incidenti di - prevenire incidenti di sicurezzasicurezza
- ricostruirli se avvengono- ricostruirli se avvengono
#servertraining
twitter.com/servermanageditwww.servermanaged.it
In principio In principio era era tailftailf
......
#servertraining
twitter.com/servermanageditwww.servermanaged.it
# tailf /var/log/secure
#servertraining
twitter.com/servermanageditwww.servermanaged.it
# tailf /var/log/messages # tailf /var/log/secure
#servertraining
twitter.com/servermanageditwww.servermanaged.it
# tailf /var/log/messages # tailf /var/log/secure
# multitail /var/log/httpd/error.log /var/log/httpd/access.log
#servertraining
twitter.com/servermanageditwww.servermanaged.it
Oggi e'Oggi e'data data
visualizationvisualization
#servertraining
twitter.com/servermanageditwww.servermanaged.it
#servertraining
twitter.com/servermanageditwww.servermanaged.it
Cos'e' Cos'e' LogstashLogstash??““Logstash helps you take Logstash helps you take logs and other event data logs and other event data
from your systems and from your systems and store them in a central store them in a central
place. “place. “
#servertraining
twitter.com/servermanageditwww.servermanaged.it
LogstashLogstash::trasforma qualsiasi fonte trasforma qualsiasi fonte di di eventieventi e e loglog in qualcosa in qualcosa
di digeribile e di digeribile e processabileprocessabile
#servertraining
twitter.com/servermanageditwww.servermanaged.it
LogstashLogstash::36 inputs (and growing)36 inputs (and growing)14 codecs (and growing)14 codecs (and growing)40 filtri (and growing)40 filtri (and growing)
50 outputs (and growing)50 outputs (and growing)
#servertraining
twitter.com/servermanageditwww.servermanaged.it
## Una configurazione minimale di Logstashinput { file { type => "linux-syslog" path => ["/var/log/*.log"] exclude => [ "*.gz" ] }}output { redis { host => "127.0.0.1" data_type => "list" key => "syslog" }}##
#servertraining
twitter.com/servermanageditwww.servermanaged.it
Cos'e' Cos'e' RedisRedis??““Redis is an open source, Redis is an open source, BSD licensed, advanced BSD licensed, advanced
key-value store.“key-value store.“
#servertraining
twitter.com/servermanageditwww.servermanaged.it
RedisRedis::in un sistema di in un sistema di logging logging
centralizzatocentralizzato puo' essere puo' essere usato come usato come bufferbuffer per i per i
loglog
#servertraining
twitter.com/servermanageditwww.servermanaged.it
Cos'e' Cos'e' ElasticsearchElasticsearch??““flexible and powerful flexible and powerful
open source, distributed open source, distributed real-timereal-time
search and analytics engine search and analytics engine for the cloud“for the cloud“
#servertraining
twitter.com/servermanageditwww.servermanaged.it
ElasticsearchElasticsearch::in un sistema di logging in un sistema di logging
centralizzato puo' essere centralizzato puo' essere usato come output per usato come output per
indicizzare i logindicizzare i log
#servertraining
twitter.com/servermanageditwww.servermanaged.it
Cos'e' Cos'e' KibanaKibana??““Make Sense of your Make Sense of your
Data“Data“
#servertraining
twitter.com/servermanageditwww.servermanaged.it
KibanaKibana::una dashboard per una dashboard per
estrarre i dati da estrarre i dati da ElasticsearchElasticsearch
#servertraining
twitter.com/servermanageditwww.servermanaged.it
#servertraining
twitter.com/servermanageditwww.servermanaged.it
Big picture: Big picture: logging logging
centralizzatocentralizzato
#servertraining
twitter.com/servermanageditwww.servermanaged.it
Un setup tipico per il Un setup tipico per il logging centralizzato logging centralizzato
con Rsyslog, Logstash, con Rsyslog, Logstash, Redis, Elasticsearch e Redis, Elasticsearch e
Kibana.Kibana.
#servertraining
twitter.com/servermanageditwww.servermanaged.it
server
server
server
server
Server di Logging Centralizzato
rsyslog
#servertraining
twitter.com/servermanageditwww.servermanaged.it
server
server
server
server
server
server
Server di Logging Centralizzato
rsyslog
#servertraining
twitter.com/servermanageditwww.servermanaged.it
server
server
server
server
server
server
Server di Logging Centralizzato
rsyslog
#servertraining
twitter.com/servermanageditwww.servermanaged.it
server
server
server
server
server
server
Server di Logging Centralizzato
rsyslog
#servertraining
twitter.com/servermanageditwww.servermanaged.it
server
server
server
server
server
server
Server di Logging Centralizzato
rsyslog
#servertraining
twitter.com/servermanageditwww.servermanaged.it
server
server
server
server
server
server
Server di Logging Centralizzato
rsyslog
#servertraining
twitter.com/servermanageditwww.servermanaged.it
Ok tutto bello. “Ma Ok tutto bello. “Ma cosa te ne fai di questi cosa te ne fai di questi grafici?” (tratto da una grafici?” (tratto da una
domanda vera)domanda vera)
#servertraining
twitter.com/servermanageditwww.servermanaged.it
Centralizzare i logCentralizzare i log::- visibilita' dei trend- visibilita' dei trend
- visibilita' dei problemi- visibilita' dei problemi- analisi di sicurezza- analisi di sicurezza
#servertraining
twitter.com/servermanageditwww.servermanaged.it
Caso di studioCaso di studio..Mitigazione di una Mitigazione di una
serie di potenti serie di potenti attacchi bruteforceattacchi bruteforce
#servertraining
twitter.com/servermanageditwww.servermanaged.it
In rosso: attacco bruteforce massivo su siti web JoomlaIn verde: mitigazione dell'attacco. Le richieste anomale vengono respinte
Visualizzare le conseguenze di un attacco, anticipare il trend e mitigare la minaccia.
#servertraining
twitter.com/servermanageditwww.servermanaged.it
Non solo Logstash:Non solo Logstash:Le alternative costose Le alternative costose
al logging al logging centralizzato open centralizzato open
source.source.
#servertraining
twitter.com/servermanageditwww.servermanaged.it
Splunk>Splunk>Grab a 20GB license for Grab a 20GB license for 12187631461319$/month12187631461319$/month
(gratuito fino a (gratuito fino a 500MB/giorno)500MB/giorno)
#servertraining
twitter.com/servermanageditwww.servermanaged.it
Splunk>Splunk>
#servertraining
twitter.com/servermanageditwww.servermanaged.it
LogglyLoggly10GB di log al giorno 10GB di log al giorno con una ritenzione di con una ritenzione di
90 giorni costano circa 90 giorni costano circa 1482 dollari al mese.1482 dollari al mese.
#servertraining
twitter.com/servermanageditwww.servermanaged.it
Ogni prodotto ha pro e Ogni prodotto ha pro e contro. Splunk e contro. Splunk e
Loggly: compliance e Loggly: compliance e immediatezza. immediatezza.
Logstash: per i nerd.Logstash: per i nerd.
#servertraining
twitter.com/servermanageditwww.servermanaged.it
Logstash: Logstash: vantaggivantaggi- open source- open source
- gratuito- gratuito- una folta community- una folta community- in continuo sviluppo- in continuo sviluppo
#servertraining
twitter.com/servermanageditwww.servermanaged.it
KEEP CALMKEEP CALMANDAND
LOGSTASHLOGSTASH
#servertraining
twitter.com/servermanageditwww.servermanaged.it
http://www.logstash.nethttp://www.logstash.nethttp://www.redis.iohttp://www.redis.io
http://www.elasticsearch.orghttp://www.elasticsearch.org
#servertraining
twitter.com/servermanageditwww.servermanaged.it
Slides a cura di Slides a cura di Valentino GagliardiValentino Gagliardi
Technical Manager at ServerManaged.itTechnical Manager at ServerManaged.it
Devop & Sysadmin vecchia scuola, consulente informatico Devop & Sysadmin vecchia scuola, consulente informatico per small/medium business, cloud, hosting operations.per small/medium business, cloud, hosting operations.
(Vieni a trovarmi su Google+, LinkedIn e Twitter)(Vieni a trovarmi su Google+, LinkedIn e Twitter)
Immagine di sfondo: http://medialoot.com/item/free-dark-noise-backgroundsImmagine di sfondo: http://medialoot.com/item/free-dark-noise-backgrounds
Recommended