Upload
evgeny-zhuravlev
View
43
Download
0
Embed Size (px)
Citation preview
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID 1
Аппаратная архитектура маршрутизаторов и ее особенности в зависимости от их назначения
Системный инженер Cisco Systems - Андрей Корж
2
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Цели сессии
По итогам сессии получить : 1. Более глубокое понимание аппаратного
дизайна маршрутизаторов
2. Определение наиболее важных критериев аппаратного дизайна и их привязки к назначению устройств
3. Понимание важности аппаратной архитектуры, чтобы при выборе платформы для решения задач мочь сравнивать архитектуры одного класса.
3
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Содержание
1. Основные элементы анатомии маршрутизатора.
2. История развитие маршрутизаторов Cisco
3. Инженерные ограничения аппаратного дизайна
4. Дизайн фабрик коммутации
5. Дизайн Forwarding процессоров
6. Основные заметки
4
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Содержание
1. Основные элементы анатомии маршрутизатора.
2. История развитие маршрутизаторов Cisco
3. Инженерные ограничения аппаратного дизайна
4. Дизайн фабрик коммутации
5. Дизайн Forwarding процессоров
6. Основные заметки
5
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
• Обрабатывающиеэлементы• control‐plane–OSпроцессор• data‐plane–сетевойпроцессор
• Память• DRAMдляOSипакетныхбуферов• SRAMдля«кэшей»различногоназначения• TCAMдлябыстрогонахожденияидоступа
• соединения• шинадоступа• последовательныйлинк• фабрикакоммутации
5
Что внутри маршрутизатора?
6
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
CPU(CentralProcessingUnit)• процессорыширокогоназначания(CISC,RISC)• высокаягибкостьs/w[неделинадопфункционал]• низкаяпроизводительность[до1Mpps]• применение:маршрутизаторыдоступа(ISR)
ASIC(ApplicaKonSpecificIntegratedCircuit)• одноцелеваяаппаратнонеизменнаяфункциональность• низкаягибкостьреинжиниринга[2года]• высокаяпроизводительность[более100Mppsсегодня]• применения:коммутаторы(Catalysts),опорныемаршрутизаторы
NP(NetworkProcessor)=“нечтопосредине”• производительность+программируемость,наращиваемость,параллельноемультипроцессирование• умереннаягибкостьs/w[месяцынадопфункционал]• умереннаяпроизводительность[4Mpps–40Mpps+]• недешевы,достаточноэнергоемки• уровнипрограммируемости–u‐code,C‐code• применение:высокопроизводительныефункциональные
edgeиагрегация 6
Производительность или гибкость?
7
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Сегодняприменяютсядвеосновныхтехнологиипамяти:
• StaKcRAM(SRAM,SSRAM)• DynamicRAM(DRAM,EDODRAM,SDRAM,DDR)
SRAM DRAM
Низкое потребление Высокое потребление
Высокая скорость [10-15ns]
Низкая скорость [40-60ns] /25
Низкая плотность [eg. 16M per chip]
Высокая плотность [eg. 1G per chip]
7
Типы памяти
8
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Деревопоследовательныхпоисков
8‐8‐8‐8используетвIOSвбольшинствеплатформ
16‐8‐8в12000,11‐8‐5‐8‐C10K
Альтернативныеподходы–8‐1‐1‐1‐1‐1‐1‐1‐1‐1‐1‐1...(вSRAM)
TCAM(TernaryContentAddressableMemory
Троичная Ассоциативная память)
SRAMскомпараторомдлякаждойячейки
1проход–оченьбыстро,нооченьдорого
параллельноевыполнениенезависимыхпоисков(ACL,QoS,Neflow,FIB)
Содержимое и маска Адрес
запрос результат 192.168.200.111
192.168.200.xxx 192.168.300.xxx
192.168.100.xxx 801 802 803
802
DENY
. . .
. . .
8
Типы памяти (продолжение)
9
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
• шина• полудуплекс,sharedmedium• НапримерPCI[800Mbpsдо25Gbps+]• простоидешево
• Последовательныйлинкточка‐точка• выделенное,одноилидвух‐направленноесоединение• напримерSPI[11.2Gbps+]• синхронный,скодированиемвлинии
• Фабрикакоммутации(cross‐bar,exchange)• неблокируемая,полныйдуплекс,any‐to‐any• напримерGSR,ASR9k,CRS[40Gbpsto9.6Tbps+]• характеристики
• cellилиframeкоммутирующие• центральныйилираспределенныйарбитр• одноилидвухуровневаякоммутация• реплицируетмультикастилинет• естьлиреализацияQoSвс.фабрике 9
Соединения
10
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Содержание
1. Основные элементы анатомии маршрутизатора.
2. История развитие маршрутизаторов Cisco
3. Инженерные ограничения аппаратного дизайна
4. Дизайн фабрик коммутации
5. Дизайн Forwarding процессоров
6. Основные заметки
11
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
CPU Centralized processing
< 1Mpps Unmatched flexibility
Main limit: performance
Эволюция маршрутизаторов
CPU and ASIC Hybrid processing
< 1Mpps Limited flexibility, high performance (9xGE)
Main limit: bus speed
CPU Distributed processing
< 1Mpps High flexibility
Main limit: bus architecture
ASIC Hybrid processing
>10 Mpps Limited features
Main limit: complex architecture
NPU Centralized processing
>1 Mpps Limited features (resolved in
next hardware releases)
Main limit: features
CPU-ASIC-NPU Distributed processing
>50 Mpps Complex feature
dependencies (before Eng3/5)
Main limits: performance, complexity, 20G/slot
ASIC-NPU Distributed processing
>50 Mpps Complex feature dependencies
Main limits: complex architecture
NPU Centralized
>1 Mpps In-line features with
performance
Main limits: centralized
NPU Massively distributed
>500 Mpps Almost ideal architecture
Main limits: price
NPU распределенная
>50 Mpps Единая архитектура
Ограничение: linecard NPU
7200
7500 6500
5500
ASR1000
10000
12000
CRS
7600
ASR9000
Централиз. Полностью распред. Распределенная
NPU (QFP) NPU (CPP, QFAP) ASIC (EARL) + NPU (EzChip)
12
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Содержание
1. Основные элементы анатомии маршрутизатора.
2. История развитие маршрутизаторов Cisco
3. Инженерные ограничения аппаратного дизайна
4. Дизайн фабрик коммутации
5. Дизайн Forwarding процессоров
6. Основные заметки
13
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Forwarding [Mpps]
Пропускная способность
[Gbps]
Forwarding процессор
Processing budget per packet [ns]
Потребление на Гигабит [W]
Стоимость на Гигабит [GPL USD]
Catalyst 4500 250 320 Централизованный
1x1 4 (no code) 2 500
Cisco XR12000 240 300 Распределен
ный.
15x4 250 (u-code) 25 6500
Cisco ASR1000 16 20 Централизов
анный
1x40 2000 (C code) 30 5000
13
Выбор архитектуры или архитектура выбора
14
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Инженерные ограничения
1. Основные ограничивающие факторы: – цена
– энергопотребление
– охлаждение
– габариты
– производительность – гибкость / перепрограммируемость – Инновационность, технологичность
15
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Цена как ограничение
1. Соревнование производителей : лучше = лучше
2. ...Но кроме этого - дешевле = лучше
3. Фактор толкающий производить продукты не высокой инновационности с минимизацией расходов на R&D.
4. Дешевле = больше ограничений, короткий жизненный цикл, частое использование продуктов, разработанных для применения в других уровнях сети для другого класса задач и условий эксплуатации.
16
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Ватты и джоули
1. Сейчас мы имеем ~400W per slot (CRS, ASR9k) Плюс фабрика, RP, вентиляторы системы теплоотвода... ~15W на Gbit/s для CRS-1 ~6W на Gbit/s для CRS-3
2. Будущие генерации: 600Вт? 800Вт? На слот 3. Модульные системы питания (CRS/ASR9k), можно
добавлять по мере заполнения шасси линейными картами 4. 2 по N-чипов: >2x э/потребление, один чип 2N чипов -
экономичнее
5. Архитектура чипов Cisco (один «но большой») - более «green»
Хотя требует больше времени на разработку.
17
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Ватты и джоули(продолжение)
1. ASR1k - “green”: <130-400W под 20G трафика с услугами
Находится в пределах как CRS/ASR9k
2. „Green” модное словечко Следует обращать внимание на условия декларируемого потребления.
3. Технологии низкого ЭП: clock gating, asynchronous processors, фрагментарное обесточивание по необходимости...
4. Разработка новых чипов Движение к 45nm технологии позволило снизить потребление на 1/3 (доступна с 2008) 32nm в 2010, 22nm в 2011, 16nm > 2015
18
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Теплоотвод
1. Airflow дизайн front-to-back
может не отвечать NEBS требованиям к фильтрации
side-to-side Требует более широкого шасси
front_top-to-back_bottom Ограничивает размер линейных карт
2. Моделирование температурных режимов.(изменение кострукции LC и т.д.)
3. Жидкостное охлаждение? (дорого, сложно)
19
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Габариты
1. „Недвижимость” на карте очень ограничена 12k linecard ~1500cm^2
CRS-1 linecard ~2300 cm^2
2. Площадь одного чипа 200-300 cm^2 Менее 10 чипов на линейную карту?
Плюс коннекторы к backplane
Плюс межчиповые соединения
3. Передняя понель для коннекторов и оптики
20
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Производительность 1. Враждующий треугольник : Пропускная способность
- производительность forwarding (PPS) - используемый функционал
2. Сохранение абсолютной скорости линейного интерфейса(в pps) - дорого.
Линейные карты CRS поддерживают множество функционала за счет дорогого процессора обработки (MSC), часто предпочитаются менее производительные недорогие (FP)
3. «Cell tax» и другие побочные эффекты Снижение производительность при разных размерах пакетов
4. Репликация Multicast Проще дизайн, но ограничения в производительности
21
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Гибкость
Три основных типа ASICs для выбора 1. Field Programmable Gate Array (FPGA)
– наинизшая фикс. цена, самая высокая цена в развитии
2. Masked Gate Array (MGA) – средний показатель цен между FPGA и CIBC ;-)
3. Cell Based Integrated Circuit (CIBC) – Самая высокая фикс. цена, наиинизшая на доработку
22
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Инновационность и технологичность
1. Постоянно изменяющееся: Технологические процессы(45nm и менее)
SPI ( убыстряются)
Эффективность теплоотвода(незначительно)
Оптимизация чипов(дизайн)
2. Для новых технологических процессов цена на элемент
На 40 % на первом году
На 30 % на втором году
Затем остается постоянной
3. Новый технология внедряется каждые ~2 years
23
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Инновационность и технологичность (прод)
1. Дизайн маршрутизатора новой генерации требует около 4 лет!
В CRS (с 2008) применяется 65nm технология (2006)
...но его дизайн делался существенно ранее
2. Беря в расчет 2-х летний цикл выхода новой технологии, процесс планирования и дизайна нового устройства должен начаться практически еще до выхода предыдущего.
24
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Коротко о дизайне чипов 1. Electronic design automation (EDA) 2. ULSI (Ultra Large Scale Integration)- >1M
транзисторов. 3. Функциональный дизайн(используя библиотеки)
– Размер, э/потребление, clocking speed
4. Тестирование эмуляцией в software(synthesis) 5. Подготовка процесса производства 6. Производство прототипов 7. Широкое тестирование прототипов 8. Если баг в в hardware -> „re-spin ASIC”
Задержка выпуска на несколько месяцев
9. При ограничении архитектуры -> частый „re-spin ” платформы....
25
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Немного о производстве чипов 1. Чипы производят на кремниевых подложках
называемых «вафлями» от 300mm до 450mm Модернизация фабричного оборудования под новый технологический
процесс 10млрд. $
2. Размер функциональности(сколько займет силиконового пространства)
3. Сколько места на подложке „рабочее” 60-90% чипа, остальное – соединения
4. Чем больше чип – вероятность ошибки выше при одинаковой технологии
– Close to 0% (zero) for complex chips, in initial phase!
– Quickly climbs to over 50% in the first months of production
– Final yield is typically over 90%
– For complex chips (such as Cisco) this is not so easy
26
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Содержание
1. Основные элементы анатомии маршрутизатора.
2. История развитие маршрутизаторов Cisco
3. Инженерные ограничения аппаратного дизайна
4. Дизайн фабрик коммутации
5. Дизайн Forwarding процессоров
6. Основные заметки
27
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Эволюция фабрик коммутации
• Шина‐>1‐ступ.фабрика‐>2‐ступ.фабрика
• Ac�ve/standbyфабрика‐>ac�ve/ac�veфабрика
• STM‐4‐>STM‐16‐>10GE‐>STM‐256‐>100GE
• входящая‐>исходящаярепликацияmul�cast
• FabricQoS(науроках76/12k!)
• ОбщийRX/TXASIC‐>независимыеRXиTXASIC
27
28
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Что такое фабрика коммутации?
Ingress Linecards
Egress Linecards
TX
RX
TX
TX
TX
RX RX RX
UNICAST to slot 3
MULTICAST to slots 2,3,4
1
2
3
4
1 2 3 4
Fabric Channel • addressable fabric port • one big pipe
What capacity? 4 канала @ 10Gbps неблокируемая
Инженерное: 4 * 10 = 40Gbps fdx
Маркетинговое: 4 * 10 *2 = 80Gbps
UNICAST to slot 3
29
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Как выглядела бы идеальная фабрика
1. Фиксированная цена за порт (тысячи 10G портов)
2. Высокая плотность (малоразмерность и потребление) 3. Поддержка субпортов(порты меньшей скорости)
4. Высокая доступность 5. Полная неблокируемость(любые комбинации загрузки и
утилизации фабрики без блокировок) Исходящие буфера значительно больше входящих
Нет внутреннего speedup (overspeed, overclocking)
6. Минимальная задержка
7. Многоступенчатость 8. Никаких уловок и компромисов ;)
30
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Компромисы к дизайну фабрики
1. «Субпорты» и настоящая неблокируемость крайне дорога
2. Попытка минимизировать : Более высокая скорость обработки внутри фабрики чем требуется линейным картам
дополнительная обработка очередей и управление потоками внутри фабрики
31
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Cisco CRS-1 фабрика коммутации
1 of 8
2 of 8
8 of 8
1
2
8
1
2
16
40 Gbps
Line Card Line Card
50 Gbps 136 Bytes Cells
Fabric Chassis
100 Gbps/LC(2) (2.5X Speedup)
1296 X 1296 буферизованный неблокируемый коммутатор Многоступенчатый интерконнект - трехступенчатая топология Бенеша End2end управление прохождением трафика( flow control)
S1 S2 S3
S1 S2 S3
S1 S2 S3
Два уровня приоритета HP Low Latency Traffic LP Best Effort Traffic
Поддержка мультикаста 1M Multicast Groups
32
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Почему нужен speedup?
1. Блокировка субпортов и speedup
STM16
STM16
STM16
STM16
10G 10G
0G
0G
0G
20G 10G
2,5G
2,5G
2,5G
33
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
per-bit loadsharing 4 planes = 25Gbps - 8/10 code = 20Gbps
7+1 switch fabric • Cisco CRS-1/16, • 40G linecard, 18x18 matrix • 1 fabric port на слот • active/active redundancy • cell-based (136B cell), more packets packed in a cell
TX RX
4x 2.5Gbps links
per-cell loadsharing 8 planes = 80Gbps - 8/10 code = 64Gbps - cell tax = ~56 Gbps
8x 2.5Gbps links
Примеры фабрик
TX RX
2x 3.125Gbps links
Active RSP
Standby RSP
4:4 switch fabric • Cisco 7600, 720 Gbps • 40G linecard, 18x18 matrix • 2 fabric ports на слот • active/standby redundancy • frame-based (64-9KB)
20G 20G
40G 40G
34
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
“Non-Blocking”?
Ingress Linecards
TX
TX
RX
RX
Egress Linecards
10G
10G 10G
10G
Port-to-Port трафик • Нет потерь пакетов
TX
TX
RX
RX 10G
10G 10G
10G
Any-to-Any трафик • Voice/Video/Data • Unicast/Multicast • есть потери! Почему?
35
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Multicast репликация репликация на выходе
TX
TX
RX
RX
RX
RX
Ingress Linecards Хорошо:
Репликация на выходе • Cisco CRS, 12000 • Cisco ASR9K, 7600
10Gbps of multicast eats 10Gbps fabric bw!
TX
TX
RX
RX
RX
RX
Ingress Linecards
Неплохо: Выделеный fabric plane Репликация на выходе
Выделеный только под 2.5G multicast- slot (10G multicast impossible)
36
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Если фабрика не реплицирует? Обходы при репликации на входе
Плохо: Репликация на входе • один репликационный чип
10Gbps multicast съедает 160Gbps fabric bw! (10G multicast невозможен)
Достаточно неплохо: бинарная репликация на входе • примитивная фабрика коммутации 10Gbps multicast съедает 80Gbp fabric bw! (10G multicast невозможен)
TX
TX
RX
RX
RX
RX
Egress Linecards
Ingress Linecards
TX RX
Ingress Linecards
TX RX TX RX TX RX
TX RX TX RX TX RX TX RX
RX RX RX RX
RX RX RX RX
37
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Ingress DPC
Egress LC’s
X
X
X
X
OIRпролема• приизвлечениилинейнойкартыпотокивидеотеряютсяхаотически
Binary Tree проблемы
16171819202122232425262729303132
3334 6364
08 09 10 11 12 13 14 15
04 05 06 07
02
01
03
36384042444648
38
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Cell tax - пояснения
% o
f Lin
erat
e
L3 Размер пакета [B]
40
100
200
300
400
500
600
700
800
900
1000
1100
1200
1300
1400
1500
Cell Tax эффект на Linerate: пилообразная кривая
cell payload [48B]
cell hdr [5B]
Пример формата ячейки:
Фикс. overhead [cell header, ~10%] Относительный overhead [fabric header] изменяемый overhead [padding]
40B IP Packet: IP Packet [40B]
cell hdr [5B]
buffer hdr [8B]
Хорошая эффективность 1Mpps = 1Mcps 1Gb/s 1.33Gb/s
41B IP Packet: IP Packet [first 40B]
cell hdr [5B]
buffer hdr [8B]
empty [47B padding]
cell hdr [5B]
IP Packet [last 1B]
плохая 1Mpps = 2Mcps 1Gb/s 2.6Gb/s
64B IP Packet: IP Packet [first 40B]
cell hdr [5B]
buffer hdr [8B]
empty [24B padding]
cell hdr [5B]
IP Packet [last 24B]
посредствен 1Mpps = 2Mcps 1Gb/s 1.7Gb/s
39
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Cell tax невидимы трафику в CRS
Percen
tageofLinerate
80%
60%
40%
20%
0%
100%
120%40
100
200
300
400
500
600
700
800
900
1000
1100
1200
1300
1400
1500
140%
L3Размерпакета[B]
Упаковывниепакетов(super‐framing):
IPPacket1cellhdr
bufferhdr IPPacket2
bufferhdr
beginningofIPPacket3cellhdr
bufferhdr
restofIPPacket3cellhdr IPPacket4
bufferhdr
40
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Cell tax – недостаточный overspeed
Про
центотLine
rate
80%
60%
40%
20%
0%
100%
120%
L3Размерпакета[B]
40
100
200
300
400
500
600
700
800
900
1000
1100
1200
1300
1400
1500
140%
41
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Cell tax ухудшение + 10% multicast (за счет binary tree таксы на репликацию)
Про
центотLine
rate
80%
60%
40%
20%
0%
100%
120%
L3Размерпакета[B]
40
100
200
300
400
500
600
700
800
900
1000
1100
1200
1300
1400
1500
140%
42
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Cell tax худший случай – при отказе одного из модулей фабрики
Про
центотLinerate
80%
60%
40%
20%
0%
100%
120%
L3Размерпакета[B]
40
100
200
300
400
500
600
700
800
900
1000
1100
1200
1300
1400
1500
140%
43
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
CRS-1 • 40G eth. Неблокируема при отказе 1 или 2 fabric cards TX RX
Избыточность фабрики – отказ fabric card
TX
Standby RSP
ASR9000 • 80G Неблокируема при отказе RSP • cell tax – не проблема (superframe-based fabric, не cell based)
Active RSP
Active RSP
80G 80G
40G 40G
X
X
1. failed: 56G 49G 2. failed: 49G 42G
X
failed RSP: 180G 90G
CRS-3 • 100G eth. Неблокируема при отказе 1 или 2 fabric cards
TX RX
RX
2x overspeed
44
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
TX
Active RSP 80G 80G
TX RX
RX
TX RX
Избыточность фабрики – отказ fabric card
Active RSP
40G 100G
40G 100G
X
X
CRS-1: 56G 49G 42G CRS-3: 141G 123G 106G
X
failed RSP: 184G 92G
2x egress speedup
CRS-1 • 40G eth. Неблокируема при отказе 1 или 2 fabric cards CRS-3 • 100G eth. Неблокируема при отказе 1 или 2 fabric cards
ASR9000 корректный active/active • 80G Неблокируема при отказе RSP • cell tax – не проблема (superframe-based fabric, не cell based)
45
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Вариант 1 • 2 х SFM/RSP’s (SF + RP) • blocking if only 1 SFM active
Избыточность фабрики–варианты active/active
TX Active SFM
Active SFM
50G 50GX
failed SFM/RSP: 105G 52G - massive cell dip for 50G (ok for 40G) - blocking! with m’cast
RX
Вариант 2 • 3rd SF (inactive control-plane) • no backward compatibility
• blocking if only 2 SF’s active
TX
Active SF
80G 80GTX RX
RX Active SF
RX
RX TX
TX Active SF
X
Failed SF: 126G 84G - massive cell dip - blocking! with m’cast
x8
x8
46
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
HoLB (Head of Line Blocking)
решение: Полосы по направлениямs (= Virtual Output Queues)
смягчение/решение: Есть место для разъезда (= Overspeed)
Traffic Lights (= Arbiter!)
47
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Input Q’s (IP) - configurable - shaped
TX
TX
RX
RX 40G
40G 112G
112G
неявный backpressure + Linecard Queues (VOQ) • Cisco 12000 или ASR9000 • VOQ (Virtual Output Queues) на исходящий слот
A9K To-Fab: 266 A9K From-Fab 36
Ingress Linecards
TX
TX
RX
RX
Egress Linecards
10G
10G 14G
14G
arbiter grant
Virtual Output Queues (IP) - 8 на ислодящий слот (IPP/EXP) - Voice: strict scheduling - Multicast: separate queues
explicit backpressure
no Grant = implicit backpressure IP ASIC cell ASIC
Хорошее HoLB решение Планировщик + Backpressure + QoS
явный backpressure + Fabric Queues • Cisco CRS (1296 slots!) • 6144 destination queues • 512 speedup queues • 4 очереди в каждой точке (Hi/Lo UC/MC) + vital bit
Fabric Queues (cells) - u’cast: strict Hi, Lo - m’cast: strict Hi, Lo
Destination Queues (packets) - u’cast: strict Hi, Lo - m’cast: strict Hi, Lo
Speedup Queues (packets) - u’cast: strict EF, AF, BE - m’cast: strict Hi, Lo
S2 S3 S1
8q 8q
48
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Ограниченный и недостаточные HoLB обходы Virtual Output Queues и Backpressure
Порог отбрасывание низкоприоритетного трафика • Cisco 7600 clear-block • арбитр с backpressure • входной порог для приоритетного трафика • защита voice/TV при загрузке
Ingress Linecards
TX
TX
RX
RX
Egress Linecards
20G
20G 20G
20G
arbiter grant
Fabric Queue Threshold - drops data packets causing HoLB - protects Voice/Video traffic!
TX
TX
RX
RX 10G
10G 18G
18G
grant arbiter
request/grant loss = high latency!!!
бедный Fabric QoS дизайн • не-linerate распред. арбитр -увеличение задержки при нагрузках • 2 равновесовые очереди -отбрасывает и voice/video
Destination Queues - no strict scheduling - no multicast queues
Overspeed Queues - Нет строгого планирования - Нет multicast очереди
voice/video loss!!!
49
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Пропускная способность фабрики и арбитр Почему неблокируемые фабрики блокируются?
Ingress Linecards TX
TX
TX
TX
RX
RX
RX
RX
Egress Linecards Arbiter
Scheduler
Ingress Linecards
TX
TX
TX
TX
RX
RX
RX
RX
Egress Linecards arbiter
arbiter
arbiter
arbiter
Центральныйсинхронныйарбитр
• Cisco12000,7600,ASR9K• неблокируемаяарбитрация
SFзагружаетсяна100%емкости.
Асинхронныйраспределенныйарбитр
• Dualgrantproblems
• Dualrequestproblem
SFначинаетблокироватьсяпризагрузке>66%.
2 grants (1 lost)
timeout
grant
timeout 2 requests(1 lost)
send to slot2
GRANT CELL
CELL
non‐blocking*)
non‐blocking
*)ifnotloadedtoomuch
50
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Что еще стоит заметить о перспективных дизайнах фабрики
1. Универсальность фабрики?
2. Фабрика коммутации Cisco 12000 имела дизайн позволяющий транспортировать АТМ ячейки.Эта емкость фарики – на сейчас невсотребована.
3. Фабрики коммутаций новых платформ вполне могут быть гибридными сочетая способность обрабатывать фрэймы наряду с иными видами коммутации.
51
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Содержание
1. Основные элементы анатомии маршрутизатора.
2. История развитие маршрутизаторов Cisco
3. Инженерные ограничения аппаратного дизайна
4. Дизайн фабрик коммутации
5. Дизайн Forwarding процессоров
6. Основные заметки
52
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Почему не CPU?
1. Если дизайн чипов так сложен , почему не СРU?
2. Gigabit Ethernet = max. 1 488 952 Ппкс
3. На обработку одного 671 ns времени процессора
4. Время доступа к памяти 10..60 ns
5. Т.е. 10 -60 раз доступиться к памяти на пакет! Считать IP address получателя
Переписать IP header (TTL, checksum)
...не говоря об остальном
6. „Почти” хватает. Но как быть с 10GE/40GE/100GE
7. Решение – только параллельное процессирование
53
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Forwarding ASIC’s и Network Processors Цена vs. Производительность vs. Гибкость КонвейерныйL2/L3SwitchASIC
• Catalyst4500• 250Mpps,320Gbps
ПараллельныйL2/L3SwitchASIC• Catalyst6500• 48Mpps,80+Gbps
КонвейерныйASICсмикрокодовымиступенями• Cisco12000• 16Mpps,10Gbps• сложныйфункционал–cRTP,AToM,MVPN...
КонвейерныймикрокодовыйNP• Cisco10000,7300• 9Mpps,18Gbps• сложныйфункционал–PPPoE,ISG...
КонвейерныйSMP(symmetricmulKprocessing)микрокодовыйNP• Cisco7600,ASR9000• 20Mpps,20Gbps• оченьсложныйфункционал–VPLS,PPPoE,ISG,Vidmon...
МассивSMPu‐программир.NP• CiscoCRS‐1• 80Mpps,40Gbps• 185Mтранзисторов• core/edge/carrierE
МассивSMPC‐программир.NP• CiscoASR1000>40patents• 16Mpps,20Gbps• 1.3Btransistors• полностьюпрограммируемнаC• 100engineers,5years• обработкавсегоителапакета!(firewalls,IPSec,DPI,ISG,...)
54
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
CRS-1 как инженерный труд Дизайн занял 4 года 10 ASICs разработано исключительно для
CRS-1
Одни из самых сложных чипов в индустрии (исключая графические чипы карт в PC ;-)
Metro
Squirt
Sprayer
Reindeer
Bambi QLink
Sharq
Sea
Moose
Sponge
55
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID
Опросник к выбору оборудование под практическое применение
Стоимость 10G
Фабрика коммутации
масштабируенмость
Фабрика коммутации
арбитрация
Фабрика коммутации
Multicast
Фабрика коммутации
overspeed
Forwarding процессор
Агрегация Синхронная центральная
Репликация, отдельные очереди
ASIC/NP - микрокод
Edge SMP/NP - С
код Репликация, отдельные очереди
SMP/NP - С код
Core Нет арбитра ,
много очередей и
backpressure
Репликация, отдельные очереди
ASIC/SMP - микрокод
56
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential Presentation_ID