Deutsches Forschungsnetz

N E U E S I M X - WiN

53 DFN-Betriebstagung * 26 10 - 27 10 201053. DFN Betriebstagung 26.10. 27.10.2010Hans-Martin Adler

DFN GeschäftsstelleDFN-Geschäftsstelle10178 Berlin, Alexanderplatz 1

Tel: 030/88429939 e-mail:adler@dfn.de

Seite 2

Themen

• Optische Plattform

• IP-Plattform /Außenanbindungen

• Doppelte Anbindung / VerfügbarkeitDoppelte Anbindung / Verfügbarkeit

• 100GE Test• 100GE - Test

• Leistungssteigerung 2011

Seite 3

Optische Plattform

• 94 Glasfaserabschnitte

• ca. 10.250 km

• Einbindung EWE mit Fasern nach AWI und MUEEinbindung EWE mit Fasern nach AWI und MUE

• beauftragt Faser SAA BON und ROS GRE• beauftragt Faser SAA – BON und ROS – GRE

• Anfrage nach Faser GRE - FFO

Seite 4

X-WiN-Topologie(Glasfaserstruktur)

HAMDES

DKR

KIE

ROSFaser KPNFaser GLFaser GC

AWI

FFOTUB

HANPIKENS ZEU

SLU

Faser GC

Faser andere

WINGAS

Wellenlänge

EWEHMB

BRE

POT

DUI

BRA MAGBIE

ZIBHUB

ADHMUE

PAD

GOEDOR

BOC

Wellenlänge

FZJ

AAC BIRCHE

ILM

LEI

JEN

KAS

GIEMAR

DOR

WUP DRE

BAYGSI

FRA ILM

ESFKAI

BON

WUE

GAR

ERLFZK

HEI

STU

REG

KEHSTB

KAISAA

Seite 5

STU

Richtung Basel

Stand Oktober 2010FHM

X-WiN-Topologie(Glasfasern und Wellenlängen)

HAMDES

DKR

KIE

ROSFaser KPNFaser GLFaser GC

GREAWI

FFOTUBBRE

HANPIKENS ZEU

SLU

Faser GC

Faser andere

WINGAS

Wellenlänge

EWEHMB

POT

DUI

BRA MAGBIE

ZIBHUB

ADHPAD

GOEDOR

BOC

WellenlängeMUE

FZJ

AAC BIRCHE

ILM

LEI

JEN

KAS

GIEMAR

DOR

WUP DRE

BAYGSI

FRA ILM

ESFKAI

BON

WUE

ERLFZK

HEI

STU

REG

KEHSTB

KAISAA

GAR

Seite 6

STU

Richtung Basel

BAS

AUGFHM

Stand Oktober 2010

Verbindungen auf der optischen Plattform

Protokoll/ DFNInternet VPN

Bandbreite DFN Faser Carrier Verbindung

DFN Faser Carrier Verbindung

2,5 Gbit/s SDH 0 0 0 0

10 Gbit/s SDH 0 0 2 0 10 Gbit/s SDH 0 0 2 0

1 GE 4 10 30 0

10 GE 80 3 17 0

Summe 84 13 49 0 Summe 84 13 49 0

Gesamt 97 49

Seite 7

Optische Plattform: Ausfälle 2010

2010 A hl Dauer gesamt maximale A f ll it2010 Anzahl Dauer gesamt

(h) Ausfallzeit(h)

Störungen 10 72 13

Wartungen 32 148 9

Seite 8

IP-Plattform: Oktober 2010

BIE

BREDES TUB HUB

KIE ROS GRE

EWE HAMAWI PIKBIE

MUE

POTHAN ZIB ADHBRA

FFOMAG

AWI

ZEU

PAD

PIK

MUE

DUI

GOEKAS

BAY DRE

POTCRS-

HANCRS-

T-Internet

ZEU

ERL LEI

CHE

AAC

FRACRS-

ERLCRS- T-InternetFZJ

BOC

BIR

MAR

GIE

FRAREG

AUGILM

JEN

LEI

2x10GEWUE

BONDOR

WUP FHM

FZK

BIRGSI

HEISTU

GAR

ILM

SAA10GE1GEKAI

Seite 9

XR 53 CISCO7609

KR

DFNInternet Dienst : 776 Anwender Stand: 25.10.2010

K t i B db it (Mbit/ ) A hl A hl Cl tKategorie Bandbreite (Mbit/s) Anzahl Anzahl ClusterXI01 2 1 22XI02 20/7 111 27XI02 20/7 111 27XI03 34/12 21 10XI04 50/17 16 14XI05 100/34 83 20XI06 150/50 39 27XI07 300/100 25 8XI07 300/100 25 8XI08 600/200 7 3XI10 1000/350 9 10XI11 2000/670 2 1XI12 5000/1700 1 8XI13 10000/3400 0 4XI13 10000/3400 0 4XI14 2x10.000/6700 1 1

Summe 316 155

Seite 10

XPI02-04 29M1+M2 276

IPv6

• vergebene Adressbereiche: 113vergebene Adressbereiche: 113

• Anzahl Anwender: 77

IPv6

• vergebene Adressbereiche: 113vergebene Adressbereiche: 113

• Anzahl Anwender: 77

!!Noch 226 Tage (10.06.2011) IPv4 Adressen!!

VPN

• VPN entweder auf der optischen Plattform oder der IP-Plattform

17 VPNs über 49 optische Verbindungen• 17 VPNs über 49 optische Verbindungen(Beispiele: DWD, DEISA, LHC, ZIB-RRZN, DESY, AWI, PTB, LOFAR, HEPPI)

• 9 VPNs über IP-Plattform(Beispiele: DLR GRS FZJ GKSS IPP Uni Kassel Uni F/M FhI)(Beispiele: DLR, GRS, FZJ, GKSS, IPP, Uni Kassel- Uni F/M, FhI)

Außenanbindungen: DFNInternet-Dienst

Global Upstream

10 GE 10 GE

3x10 GE

130 ISPs

X WiN2 x 10 GET-Internet

14 nationale

X-WiN10 GE

15 ISPs

2x10 GE

Forschungsnetze

14 nationale private PeeringsBackup

Europäische Forschungsnetze

60 Gbit/sNordamerika

Süd- und Mittelamerika

Seite 14

Mittelamerika

Japan, China

Statistik: MesspunkteX-WiN AnwenderAnschlüsse DFN-Internet & VPN

europäische und nordamerikanische

Wissenschaftsnetze

Global Upstreamalle sonstigen

X-WiNalle sonstigen Ziele im globalen Internet

„Exportiertes Datenvolumen“: Summe der gesendeten Daten

über alle AnschlüssePeerings mit ISPs

über alle Anschlüsse

Sonstige ISPbilaterale PeeringsPeering mit T-Internet

T-InterConnect

Seite 15

Exportiertes Datenvolumen: Mai 2010: 9.403 TeraByte

exportiertes Datenvolumen X-WiN Kernnetzfür die Jahre 2008-2010X-WiN-Anwender DFN->ISPs

DFN->T-Internet DFN->GÉANTDFN >Gl b l U t XVPN Di t

8 000

9.000

10.000DFN->Global Upstream XVPN-Dienste

6.000

7.000

8.000

yte

3.000

4.000

5.000

T B

0

1.000

2.000

0

Se

p 0

9

Ok

t 0

9

No

v 0

9

De

z 0

9

Jan

10

Feb

10

Ma

r 1

0

Ap

r 1

0

Ma

i 1

0

Jun

10

Jul

10

Au

g 1

0

Se

p 1

0

Monat (Vorjahresmonat links)

Seite 16

Status doppelte Anbindung: 25.10.2010

Anzahl der Anwender von DFNInternet mit redundantem Anschluss, davon 284

... Anwender am Kernnetzknoten 49

... Redundanz durch Haupt- und Nebenleitung 176

... Redundanz durch Weiternutzen von DFNBackup 1

... Redundanz durch andere Anschlüsse an andere Netze 58

Anzahl Anwender im Cluster, die für ihre Redundanz selbst verantwortlich sind 117

Anzahl Anwender die gegenwärtig keine Redundanz haben 99 Anzahl Anwender, die gegenwärtig keine Redundanz haben 99

Gesamtzahl aller Anwender von DFNInternet (ohne Mitnutzer) 500

Seite 17

DFNInternet: Verfügbarkeit Monate

99,990%

100,000%

99 970%

99,980%

99,960%

99,970%

99,940%

99,950%

99 920%

99,930%

99,910%

99,920%

Slide 18

99,900%

07/09 08/09 09/09 10/09 11/09 12/09 01/10 02/10 03/10 04/10 05/10 06/10 07/10 08/10 09/10

einfach mehrfach

DFNInternet: Verfügbarkeit Quartale

99,990%

100,000%

99 970%

99,980%

99,960%

99,970%

99,940%

99,950%

99 920%

99,930%

99,910%

99,920%

Slide 19

99,900%

Q1/09 Q2/09 Q3/09 Q4/09 Q1/10 Q2/10 Q3/10

einfach mehrfach

Doppelte Anbindung und Verfügbarkeit

• Ereignisse im X-WiN mit Minderung der Verfügbarkeit:

o Stromausfall am Kernnetzknoten− Ursachen: Wartung Stromausfall in der Region Brand der USV− Ursachen: Wartung, Stromausfall in der Region, Brand der USV…− USV-Strom für mindestens 2 Stunden! − USV-fällt aus, Diesel springt nicht an ->FE-Endgeräte haben nur eine Stromversorgung

o Standortumzüge oder Umbau− 2010: ILM, MUE, ROS, TUB− 2011: PIK, BON (?)

o Wartungeng− IOS-Upgrades der X-WiN-Router (XR)

Seite 20

Doppelte Anbindung und Verfügbarkeit

• Ereignisse im X-WiN mit Minderung der Verfügbarkeit:

o Stromausfall am Kernnetzknoten− Ursachen: Wartung Stromausfall in der Region Brand der USV− Ursachen: Wartung, Stromausfall in der Region, Brand der USV…− USV-Strom für mindestens 2 Stunden! − USV-fällt aus, Diesel springt nicht an ->FE-Endgeräte haben nur eine Stromversorgung

o Standortumzüge oder Umbau− 2010: ILM, MUE, ROS, TUB− 2011: PIK, BON (?)

o Wartungeng− IOS-Upgrades der X-WiN-Router (XR)

immer noch ca 40 Nebenleitungen nicht in Betrieb!immer noch ca. 40 Nebenleitungen nicht in Betrieb!

Seite 21

Erweiterung der Anschluss-Überwachung

St d d it ICMP (Pi )• Standard mit ICMP (Pings)

• Überwachung der BGP-Session durch Auswerten einer SNMP-Variablen sofern zwischen XR und KR eine BGP-Session etabliert wurde (in der Regel bei Anschlüssen mit Nebenleitung)g)

• Workflow ist gleich > 1 Anwender dann Carrier• Workflow ist gleich -> 1. Anwender dann Carrier

Seite 22

DFN Motivation für 100G Tests

• Mittelfristig: Ausschreibung DWDM-Geräte• Langfristig: Ausschreibung Faserinfrastruktur

• Fragen K t i DWDM A h ib fü– Kommt eine DWDM-Ausschreibung für100G-Technik zu früh? Ist 100G-Technik verfügbar?

– Ist die derzeitige Faserinfrastruktur für100G-Technik geeignet?

Seite 23

Konkrete Fragestellungen

• FaserinfrastrukturSi d di Ab tä d d V tä k b i 10G d 100G– Sind die Abstände der Verstärker bei 10G und 100G Technik gleich?

– Deutliche Unterschiede mit Kostenauswirkungen?• FaserparameterFaserparameter

– Gibt es besonders sensitive Parameter die es beim Einsatz von 100G Technik zu beachten gilt? (daherEinsatz von 100G Technik zu beachten gilt? (daher auch Praxistest und kein Labortest mit Kabelrollen)

H dh b d N t b k it• Handhabung und Nutzbarkeit– Zusammenspiel optische Technik und Routerp p

Seite 24

Kooperationspartner

• IndustrieGl f G LINE– Glasfaser: GasLINE

– DWDM: Huawei– Router: Cisco

• Wissenschaft– Vertreter aus HPC: FZ Jülich– Vertreter aus LHC: KIT

• Koordinierung durch DFN Verein• Koordinierung durch DFN-VereinSeite 25

Faserverlauf FZK – KITDüsseldorf

Kirchtroisdorf 93 km17 km

Köln

BonnFZ Jülich

Porz

88 k

17 km

• Merkmale

KoblenzDernbach

88 kmMerkmale– 250 km Luftlinie

447 k F t kFrankfurtWiesbaden

Mainz

Naurod60 km– 447 km Faserstrecke

– Faser gemäß ITU-T G.652Darmstadt

Gernsheim

96 km

64 km

– 7 Faserabschnitte– 5 optische Verstärker

HeidelbergMannheim

Reilingen

64 km5 optische Verstärker– keine Regeneration

KIT Karlsruhe

29 km

Seite 26

Messaufbau bei den Anwendern

J1

J2

K1

K2

Cisco Switch 4900M

Cisco Switch 4900M

J3

J4

J5

K3

K4

K5

Cisco RouterCRS-3

Cisco Switch 4900M

Cisco Switch 4900M

Cisco RouterCRS-3

J6

J7

J8

K6

K7

K8 4900M 4900M

x 127J9

K8

K9

ms kit1 f j1ms-kit1

hades-kit2

ms-fzj1

hades-fzj2

FZJKIT

end systems, 10GBase SR

447kmti-kit1

Seite 27

e d syste s, 0G ase Sadministration: KIT, FZJ

end systems, 10GBase LRadministration: DFN

Messergebnisse

• DWDM-Techniki Mi t h Ei h lt b t i b b it– wenige Minuten nach Einschalten betriebsbereit

– 30 Stunden initialer Dauertest ohne Fehler

• Router-Technik– Konfiguration analog zu IP-Technik im X-WiN– mehrere Dauertests bei vollem Durchsatz– mehrere Dauertests bei vollem Durchsatz– keine erkennbaren Einbrüche

Seite 28

Projektergebnisse

• DFN@100G zeigt, dassdi i X WiN h d Gl f h fü di– die im X-WiN vorhandenen Glasfasern auch für die Übertragung mit 100 Gbit/s geeignet sind

– bereits heute 100G-Technologie sehr stabil ist– 100G-Technologie weitgehend problemlos img g p

X-WiN betrieben werden kann

DFN@100G zeigt, dass 100G-Technologie in der kommenden DWDM Ausschreibungder kommenden DWDM-Ausschreibung berücksichtigt werden kann

Seite 29

Leistungssteigerung 2011

Seite 30

Fragen ...?

??

?

? ??

Seite 31