Internet Exchange Point (IXP)i primer SOX-a

Autor slajdova Dr Nenad Krajnović

E-mail: krajko@sox.rs

Prezentuje Zoran Perović

E-mail: info@sox.rs

Kako izgleda Internet?

09.03.2018. 2

Deo Interneta u Srbiji

09.03.2018. 3

BGPlay for AS13004

BGP je zadužen za globalno rutiranje na Internetu

09.03.2018. 4

AS 286

AS 27

AS 5377

AS 3 AS 11

147.91 /16

Path: 286

147.91 /16

Path: 286

147.91 /16

Path: 3 - 286

147.91 /16

Path: 11 - 3 - 286

147.91 /16

Path: 27 - 286

147.91 /16

Path: 27 - 286

Klasična Internet arhitektura

09.03.2018. 5

Rezidencijalni

korisnici

Biznis

korisnici

Internet

Servis

provajder

(ISP)

ESPANIX

CERN

AMS-IX

PARIX

DE-CIX

Šta je Internet Exchange?

09.03.2018. 6

Internet Exchange Point (IXP) is:

A physical network infrastructure operated by a single entity with the purpose to facilitate the exchange of Internet traffic between Autonomous Systems. The number of Autonomous Systems connected should at least be three and there must be a clear and open policy for others to join.

09.03.2018. 7

Razvoj telekomunikacija

• Danas je IP protokol postao osnova telekomunikacionih mreža i servisa

• Pored standardnih Internet servisa, i ostali TK servisi koriste IP mreže za transport (npr: video streaming, audio streaming, web TV...)

• Razmena “živog” TV programa ide preko IP-a

• Razmena telefonskog saobraćaja ide preko IP-a

09.03.2018. 8

Razmena multimedijalnog sadržaja

• Iako se sve vrste informacija prenose preko IP-a, još uvek ne postoji jedna telekomunikaciona infrastruktura koja će obezbediti razmenu tih informacija sa odgovarajućim QoS-om.

• Postoji potreba za formiranjem tačke za razmenu saobraćaja, svojevrsne berze telekomunikacionih usluga za operatore.

• Potrebno je omogućiti razmenu multimedijalnog sadržaja sa garantovanjem QoS-a.09.03.2018. 9

Šta je multiservice exchange?• Multiservice exchange point predstavlja mesto

razmene različitih vrsta sadržaja pri čemu se IP protokol koristi kao osnovni transportni protokol.

• Pošto je IP osnova Interneta, uglavnom ih zovemo Internet Exchange Point.

• Tipični servisi koji se razmenjuju:

– Internet saobraćaj između ISP-eva,

– TV program između proizvođača i kablovskih operatora,

– telefonski saobraćaj između operatora,

– privatni saobraćaj korisnika,

– ...

09.03.2018. 10

Zašto multiservice exchange point?

• Uvek postoji mogućnost da dva operatora uspostave direktan link i tako razmene saobraćaj.

• Ako imamo 20 operatora, takvo rešenje bi zahtevalo 190 linkova što je preskupo rešenje.

• Jednostavnije i jeftinije rešenje je da svi operatori uspostave jedan link (za naš primer to bi bilo ukupno 20 linkova) do jedne tačke razmene saobraćaja.

09.03.2018. 11

Načini realizacija IXP-a

• IXP-eve možemo grubo podeliti na dve grupe:

– Layer 2 Exchange Point,

– Layer 3 Exchange Point.

• U zavisnosti od vrste saobraćaja, postoje i razne mešovite realizacije.

09.03.2018. 12

Layer 3 IXP

• Osnovu čine veoma brzi ruteri.

• Svi korisnici se povezuju na ruter.

• Razmena saobraćaja se obavlja posredstvom IXP rutera, na L3 nivou.

• Ograničena mogućnost kontrole oglašavanja.

• Ruter predstavlja usko grlo ovakve implementacije.

• Sve se ređe koristi za realizaciju.

09.03.2018. 13

Layer 2 IXP - osnova

• Ima realizovanu brzu ethernet mrežu (1G, 10G, 100G) na koju se povezuju svi korisnici.

• Korisnici direktno komuniciraju na L2 nivou.

• Razdvajanje različitih servisa se obavlja korišćenjem VLAN i/ili MPLS tehnologije.

• Zbog potrebe transporta korisničkog saobraćaja, podržavaju i Q-in-Q standard.

09.03.2018. 14

Layer 2 IXP - redundansa

• Koristi se LACP (Link Aggregation Control Protocol) i MLAG (Multi-chassis Link AGgregation) za agregaciju linkova u cilju povećanja protoka i obezbeđenja redundantnih veza.

09.03.2018. 15

SiSi SiSi

MLAG -

LACP

agregacijaLACP

agregacija

Layer 2 IXP - redundansa

• Može da se koristi Rapid Spanning Tree protokol za sprečavanje formiranja petlji.

• Češće se koriste noviji protokoli poput:

– EAPS (Ethernet Advance Protection Switching),

– ERPS (Ethernet Ring Protection Switching),

– TRILL (TRansparent Interconnection of Lots of Links),

– VxLAN (Virtual eXtensible LAN),

– ...

09.03.2018. 16

Layer 2 IXP - nadzor

• Za analizu saobraćaja neophodno je da ethernet switch-evi podržavaju sflow ili netflow protokole.

• Upravljanje pomoću SNMP-a.

• Automatizacija upravljanja.

09.03.2018. 17

Layer 2 IXP – zaštita i širenje

• Potrebno je da switch-evi podržavaju mehanizme za filtriranje saobraćaja po MAC adresama u cilju zaštite mreže.

• Za potrebe razmene Internet saobraćaja, koriste se route-serveri čiji zadatak je razmena informacija o dostupnim rutama između korisnika IXP-a.

• Za povezivanje sa drugim IXP-evima potrebni su ruteri odgovarajućih performansi.

09.03.2018. 18

Route-serveri

• Najčešće korišćeni softveri za route-servere su:

– BIRD

– Quagga

– OpenBGP

• Zadatak je da omoguće razmenu mrežnih prefiksa između korisnika IXP-a uz fleksibilnu kontrolu oglašavanja.

• MANRS inicijativa za povećanje sigurnosti Interneta (www.manrs.org).

09.03.2018. 19

Mapa evropskih IXP-eva

09.03.2018. 20

Tipična IXP arhitektura

09.03.2018. 21

Ethernet

switch

AS3561

(CW/MCI)

ISP

Ruteri

AS286

(KPN)

AS3300

(AUCS)

AS1755

(GTS/Ebone)

AS5511

(GlobalOne)

AS3320

(DTAG)

DE-CIX arhitektura (2013.)

09.03.2018. 22

AMS-IX arhitektura (2018. god)

09.03.2018. 23

LINX arhitektura (2018. god)

09.03.2018. 24

London 2

London 1

Evolucija Interneta

• CDN-ovi (Google, Akamai, Facebook,...) postaju dominantni izvori saobraćaja.

• Pojava OTT (Over-The-Top) provajdera, poput Netflix-a, koji generišu video streaming saobraćaj.

• Sve više korisnika svoje informacione sisteme pozicionira u Cloud-e.

09.03.2018. 25

Posledice evolucije Interneta

• Više nije bitna samo Internet konektivnost već kvalitet pristupa CDN-ovima, OTT provajderima i Cloud provajderima.

• IP je best effort protokol pa se problem QoS-a rešava “grubom silom”, tj. uspostavom linkova velikog kapaciteta do IXP-eva.

• CDN-ovi, OTT provajderi i Cloud provajderi se trude da imaju što bolje linkove ka velikim IXP-evima.

09.03.2018. 26

Posledice evolucije Interneta

• Korisnici, pored ISP-a (tranzitni provajder), traže i konektivnost na IXP gde su “izvori Internet saobraćaja”.

09.03.2018. 27

KORISNIK

ISPIXP

CDN, OTT, Cloud

• Izvori saobraćaja hoće da budu što bliže korisnicima da bi kvalitet servisa bio što bolji.

• Ne isplati im se da se povezuju na svaki IXP već traže one sa najvećim brojem korisnika.

• Ovakvi zahtevi direktno utiču na rast IXP-eva i prelazak sa lokalnog na regionalno i globalno pokrivanje.

• Pojava velikih IXP-eva koji nude povezivanje između najvećih Cloud-a (Azure, AWS, Google).09.03.2018. 28

Globalno pokrivanje DE-CIX-a

09.03.2018. 29

Globalno pokrivanje AMS-IX-a

09.03.2018. 30

Grafik saobraćaja za DE-CIX

09.03.2018. 31

Grafik saobraćaja za AMS-IX

09.03.2018. 32

Grafik saobraćaja za LINX

09.03.2018. 33

Kako radi Internet?

• Internet je baziran na “dobroj volji”!!!

• Glavni protokol za globalno rutiranje je BGPv4.

• BGPv4 je baziran na poverenju:

– Oglašavanje je bez provere validnosti!

– Greške se propagiraju po celom svetu!

– Ne postoji validan izvor za proveru validnosti oglašavanja!

34

Problemi su svakodnevni…

35

Šta stvara probleme? (1)

• IP prefix hijack

– AS oglasi prefiks koji ne pripada njemu,

– AS oglasi prefiks sa kraćom as-path putanjom da bi preuzeo saobraćaj.

• Saobraćaj završi na pogrešnom mestu (blackhole)

• DoS, presretanje saobraćaja,...

36

Šta stvara probleme? (2)

• “Curenje” ruta

– Saobraćaj se rutira u “pogrešnom” smeru.

– Ne možete kontrolisati kako upstream provajder oglašava vaše prefikse.

• IP address spoofing

– Spoofed saobraćaj napušta mrežu bez problema.

– Osnovni uzrok reflection DDoS napada.

37

Ja ću se sam zaštititi!

• POGREŠNO!!!• Vaša sigurnost je u tuđim rukama jer ne

možete da sprečite tuđe greške ili “greške ”!

• Neophodna je zajednička akcija svih Internet provajdera i IXP-eva da bi se obezbedilo stabilno i pouzdano rutiranje saobraćaja (MANRS inicijativa - Mutually Agreed Norms for Routing Security)!

38

MANRS definiše osnove aktivnosti

• Filtering – Ensure the correctness of your own announcements and of announcements from your customers to adjacent networks with prefix and AS-path granularity

• Anti-spoofing – Enable source address validation for at least single-homed stub customer networks, your own end-users, and infrastructure

• Coordination – Maintain globally accessible up-to-date contact information

• Global Validation – Publish your data, so others can validate routing information on a global scale

39

Šta je SOX?

• SOX je prvi domaći nezavisni i carrier neutral Internet exchange.

• Započeo kao standardni IXP a danas polako prerasta u multiservice exchange.

09.03.2018. 40

Elementi realizacije

• Fizičko povezivanje.

• Komunikaciona oprema.

• Logičko povezivanje.

• BGP peering – BIRD.

• L2 i L3 prosleđivanje saobraćaja.

• Servisi.

• Nadzor i upravljanje.

09.03.2018. 41

Arhitektura SOX-a (1)• Primenjena distribuirana arhitektura uz

korišćenje “jeftinih” sistema prenosa.

• Na lokacijama SOX-a se nalaze samo L2 (L3) ethernet svičevi SOX-a (Extreme Networks Summit x650/x670 + Cisco 4948E + Supermicro + DCN + Dell+FiberStore+EdgeCore).

• Korisnička oprema je kod korisnika.

• Značajno smanjeni troškovi realizacije SOX čvorišta.09.03.2018. 42

Arhitektura SOX-a (2)

• Počelo se sa dva čvora u prstenu.

• EAPS (Ethernet Automatic Protection Switching) obezbeđuje prerutiranje saobraćaja za manje od 50ms.

• Kasnije se prešlo na LACP agregiranje linkova.

• Pristupni protoci: 1Gb/s, 10Gb/s, n x 1Gb/s, n x 10Gb/s, 100Gb/s.

09.03.2018. 43

Arhitektura SOX-a (3)

• Korišćenje Route servera za BGP peering.

• Pošto se koristi L2 ethernet switching postoji opasnost od prolaska BPDU paketa i Cisco Discovery Protocol paketa.

• Neophodno filtriranje na L2 nivou po MAC adresama.

• Na pristupnim linkovima koji su u trunk modu neophodno filtriranje i po VLAN-ovima.

09.03.2018. 44

Arhitektura SOX-a (4)• Sada je regionalna mreža

09.03.2018. 45

Osnovni princip rada IXP-a

Route

server

Korisničk

i saobra

ćaj

BGP routing update

Korisnički saobraćaj

BG

P r

outing u

pdate

BG

P rou

ting

upda

te

AS 1

AS 2

AS 3

09.03.2018. 46

Logička topologija SOX mreže

09.03.2018. 47

BIRD route server (1)

• Open source softver za rutiranje.

• Instaliran na Linux platformi.

• Omogućava napredne funkcije kao što je route server.

• Brisanje SOX AS-a iz AS_path atributa.

• Kontrolisano oglašavanje i formiranje BGP tabela za svakog partnera ponaosob.

09.03.2018. 48

Klasičan BGP ruter

09.03.2018. 49

BIRD route server

09.03.2018. 50

Kontrola saobraćaja - MANRS

• Filtriranje oglašavanja– Zbog grešaka u konfiguraciji rutera kod korisnika,

neophodno je precizno filtriranje svih BGP oglašavanja u skladu sa dogovorenom politikom rutiranja.

– Kontrola oglašavanja svakog korisnika putem BGP community atributa.

• Filtriranje nepoželjnog saobraćaja na L2 nivou– Do SOX-a prolaze razni spanning tree paketi i

slično koji moraju da budu filtrirani.

09.03.2018. 51

Kontrola saobraćaja - MANRS

• Oglašavanje prefiksa se kontroliše na bazi podataka koji postoje u Internet Routing Registrima (evropski je RIPE).

• Korisnici mogu da upravljaju oglašavanjem svojih prefiksa putem community BGP atributa.

09.03.2018. 52

Servisi SOX-a

• BGP peering posredstvom Route servera.

• Uspostavljanje VLAN-ova za tačka-tačka komunikaciju uz garantovanje QoS-a.

• Hosting servisa i sadržaja za brzi pristup sa domaćih Internet mreža.

• Berza telekomunikacionih usluga.

09.03.2018. 53

CDN u SOX-u

• SOX je prirodna tačka za povezivanje CDN-ova.

• Trenutno povezani:

– Google Cache Node,

– Akamai Cache Node,

– Facebook,

– Valve,

– Limeligth,

– Mainstream,

– Cloudflare.09.03.2018. 54

Ostali servisi

• Putem SOX-a se distribuiraju neki TV kanali koje preuzimaju kablovski operatori za dalju distribuciju kroz svoju mrežu.

• Multicast MPEG-2 i MPEG-4 streaming over IP po posebnim VLAN-ovima.

• Razmena privatnih sadržaja kroz point-to-point linkove realizovane kao L2VPN.

09.03.2018. 55

Ukupan saobraćaj na SOX mreži

Vršni saobraćaj preko 200Gb/s!

09.03.2018. 56

Analiza saobraćaj

• Za analizu saobraćaja se koristi SOX aplikacija bazirana na sflow i netflow podacima.

• Neophodno je konstantno praćenje intenziteta saobraćaja na linkovima.

• SOX koristi Cacti (www.cacti.net).

• Preporučuju se i ostali paketi:

– IXP manager (https://www.inex.ie/ixp/index/about)

– Observium (www.observium.org)

09.03.2018. 57

How SOX really works?

09.03.2018. 58

Internet Exchange Point (IXP)i primer SOX-a

Dr Nenad KrajnovićE-mail: krajko@sox.rs