56
Cisco Connect Москва, 2017 Цифровизация: здесь и сейчас

Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

  • Upload
    others

  • View
    12

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

CiscoConnectМосква, 2017

Цифровизация: здесь и сейчас

Page 2: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Методики и инструменты для самостоятельного решения проблем в сети

Леонтьев Дмитрий

Инженер технической поддержки Cisco TAC

© 2017 Cisco and/or its affiliates. All rights reserved.

Page 3: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Классификация проблем

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 3

Page 4: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Проблемы, которые можно решить самостоятельно

• Высокая загрузка процессора

• Потери пакетов

• Ошибки в конфигурации

• Снижение производительности

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 04

Проблемы, которые решаются с помощью Cisco TAC

• Утечки памяти

• Определение причины крэша

• Аппаратный отказ

Page 5: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Высокая загрузка процессора

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 5

Page 6: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Устройства, передающие пакеты с помощью центрального процессора

Архитектура маршрутизаторов семейства ISR G1 (Cisco 2800, Cisco 3800), семейства ISR G2 (Cisco 2900, Cisco 3900),маршрутизаторов серии Cisco 7200 и т.д.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 6

PowerSupply

CPU

ROMRAM

Flash

BusInterface

Interface Interface

System Bus

NVRAM

NetworkController

NetworkController

Interface

NetworkController

System Bus

Page 7: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Устройства, передающие пакеты с помощью специализированных процессоров

Архитектура маршрутизаторов серии ASR 1000

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 7

Route Processor (standby)

RP

Interconn.

Embedded ServicesProcessor(active)

FECP

Interconn.

QFP subsys-

temCrypto assist

Embedded ServicesProcessor(standby)

FECP

Interconn.

QFP subsystemCrypto

assist

SPASPA

IOCPSPA Agg.

Interconn.

SPASPA

IOCPSPA Agg.

Interconn.

SPASPA

IOCPSPA Agg.

Interconn.

Passive Midplane

Route Processor

(active)

RP

Interconn.

SIPs

Page 8: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Устройства, передающие пакеты с помощью специализированных процессоров

Архитектуры коммутаторов серии Catalyst 6500, маршрутизаторов серии Cisco 7600

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 8

MSFC

PFC

Linecard Linecard

Forwarding rate

<~500Kpps

Forwarding rate

~48+ Mpps

1 Gbps

Page 9: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Порядок передачи пакетов в устройстве

• Для устройств с программной обработкой пакетов единственным процессором, выполняющим как задачи передачи транзитных пакетов, так и обработки служебного трафика, случаи возникновения высокой загрузки процессора нередки, так как, например, простое увеличение числа передаваемых транзитных пакетов увеличивает нагрузку на процессор.

• Для устройств с аппаратной обработкой пакетов центральный процессор занимается обработкой служебных данных, а транзитные данные, обрабатываются специализированными процессорами, например QFP в ASR1000. Поэтому увеличение нагрузки на центральном процессоре является нештатной ситуацией и требует вмешательства администратора для устранения проблемы.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 9

Page 10: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Аппаратный и программный путь пакетов

• Транзитные пакеты если возможно должны обрабатываться специализированными процессорами (аппаратный путь)

CEF коммутация (большинство пакетов);

ACL коммутация (например PBR);

Netflow коммутация (например NAT).

• Пакеты не попадающие в специализированные процессоры для обработки вызывают отклонения в работе

• Как результат отклонений пакеты, обрабатываются программным обеспечением на центральном процессоре (punted) или сбрасываются

• Примеры причин обработки пакетов ПО на центральной процессоре:

Пакет предназначен устройству (это не отклонение);

Пакеты должны быть фрагментированы;

Пакеты с опциями;

Пакеты с TTL=1;

Пакеты, требующие отправки ICMP;

Отсутствие маршрута в аппаратном CEF.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 10

Page 11: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Высокая загрузка процессора

Высокая загрузка процессора может привести к нестабильной работе

сети, так как ресурсы устройства (процессор, память, буферы)

используются и для служебного трафика и для транзитного трафика

Симптомы высокой загрузки процессора:

• Нестабильная работа служебных приложений, например

протоколов маршрутизации;

• Снижение производительности;

• Ответ с задержками по Telnet или SSH;

• Потеря пакетов SNMP.

Какой уровень загрузки процессора считать высоким? Это зависит от того что считается нормальной работой для устройства. Любое отклонение от нормы должно привлечь внимание. Предельный случай – это когда нагрузка длительное время превышает 80%.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 11

Page 12: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Определение высокой загрузки CPU

Основная команда для получения информации о высокой загрузке CPU это show process cpu sorted.

Router#show process cpu sorted

CPU utilization for five seconds: 90%/85%; one minute: 35%; five minutes: 12%

PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process

12 53228 132347 402 14.42% 4.25% 1.56% 0 ARP Input

Красный – процент общей загрузки CPU

Синий – процент загрузки CPU, который вызван прерываниями

Процент загрузки CPU процессами можно посчитать по формуле:

Загрузка CPU процессами = Общая загрузка CPU – Загрузка CPU прерываниями

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 12

Page 13: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Получение данных о высокой загрузке процессора

Если загрузка процессора достигла постоянного высокого значения и не опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем собрать нужную нам статистику.

Если же нагрузка возникает на короткое время, то нужно сторожить эти моменты, чтобы собрать данные. Но это не всегда возможно отследить.

В этой ситуации нам могут помочь автоматизированные механизмы получения нужной информации, такие как TCL скрипты, Embedded Event Manager, CRON.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 13

Page 14: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Embedded Event Manager

EEM (Embedded Event Manager) – встроенный компонент операционных систем Cisco IOS, XE, XR и NX-OS, который облегчает жизнь администратора, позволяя отслеживать и классифицировать события, которые происходят на маршрутизаторах, а также обеспечивать уведомления для этих событий. EEM позволяет автоматизировать задачи,выполнять расширения и создавать обходные маршруты решения проблем.

EEM использует детекторы событий и выполняет действия для уведомления об этих событиях.

https://supportforums.cisco.com/document/117596/cisco-eem-basic-overview-and-sample-

configurations

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 14

Page 15: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Embedded Event Manager

Детекторы событий EEM:

• SNMP – мониторинг объектов SNMP.

• Syslog – реагирует на появление различных сообщений syslog, при этом можно использовать регулярные выражения для поиска совпадений.

• Counter (счетчик) – мониторит и реагирует на превышение значений счетчиков на интерфейсах.

• События CLI – отслеживается CLI ввод с помощью регулярных выражений.

• None – этот детектор событий используется для тестирования скриптов EEM с помощью команды "event manager run".

• Timers (таймеры) - (Countdown, watchdog и CRON)

• События IP SLA и Netflow.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 15

Page 16: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Embedded Event Manager

Действия EEM:

• Отсылает сообщения email

• Выполняет команды cisco

• Генерирует SNMP trap

• Перегружает маршрутизатор

• Генерирует приоритетные сообщения syslog

• Переключается на резервный модуль в системах с избыточностью и

отказоустойчивостью

• При наступлении события запрашивает системную информацию (show

tech, show proccess cpu history и т.д.)

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 16

Page 17: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Автоматический сбор статистики

Пример использования EEM (Embedded Event Manager)

event manager applet capture_cpu

event snmp oid 1.3.6.1.4.1.9.2.1.56 get-type next entry-op ge

entry-val 80 exit-time 180 poll-interval 30

action 1.01 cli command "enable"

action 1.02 syslog msg "TEST IN PROGRESS FOR CPU 80%"

action 1.03 cli command "show clock | append

bootflash:cpuinfo.log"

action 1.04 cli command "show platform software status

control-processor br | append bootflash:cpuinfo.log"

action 1.05 cli command "show process cpu sorted | append

bootflash:cpuinfo.log"

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 17

Page 18: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Команда (IOS-XE) для отображения высокой загрузки процессора в syslog сообщениях

Router(config)#process cpu threshold type total rising 80 interval 5 falling 70

interval 5

------------------ show logging ------------------

%SYS-1-CPURISINGTHRESHOLD: Threshold: Total CPU Utilization(Total/Intr): 79%/1%, Top 3

processes(Pid/Util): 600/56%, 276/18%, 9/1%

%SYS-1-CPUFALLINGTHRESHOLD: Threshold: Total CPU Utilization(Total/Intr) 54%/4%.

------------------ show process cpu ------------------

600 2189846 10615550 206 0.00% 0.09% 0.08% 0 BGP Router

276 979745 3229937 303 0.00% 0.03% 0.01% 0 IP RIB Update

9 5353819 390447 13712 0.00% 0.17% 0.20% 0 Check heaps

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 18

Page 19: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Алгоритм проведения траблшутинга

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 19

Высокая загрузка процессора

Вызван трафиком или процессом? процесс

Используем инструменты для захвата трафика

трафик

Анализ работы процесса, который вызвал высокую загрузку

Это ожидаемый тип трафика?

Это ожидаемый объем трафика?

да

нет

Анализ передачи трафика, для понимания почему пакеты попали в

процессор

Анализ источника пакетов с целью определения причины отправки

большого объема пакетов

Ищем способы как уменьшить нагрузку на процессор

нет

да

Page 20: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Высокая загрузка процессора процессами

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 20

Page 21: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Высокая загрузка процессора процессамиПроцесс ARP Input

Вызывается большим количеством запросов протокола ARP

Причиной также может стать статический маршрут, сконфигурированный с локальным интерфейсом вместо IP адреса следующего устройства. Это вызывает создание запроса ARP для каждого пакета, у которого нет более специфического маршрута.

ip route 0.0.0.0 0.0.0.0 GigabitEthernet 2/5

Router#show ip traffic | begin ARP

ARP statistics:

Rcvd: 6512 requests, 2092 replies, 0 reverse, 0 other

Sent: 258 requests, 707 replies (0 proxy), 0 reverse

Drop due to input queue full: 20

<snip>

Router#show interfaces | include line protocol|rate

GigabitEthernet 0/0/0 is up, line protocol is up

5 minute input rate 23013521 bits/sec, 2535 packets/sec

5 minute output rate 0 bits/sec, 0 packets/sec

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 21

Page 22: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Высокая загрузка процессора процессамиПроцесс IP Input

Вызывается пакетами, которые должны быть обработаны процессами или предназначены процессору.

Самые распространенные причины:

• Шторм броадскаст пакетов

• Пакеты, с опциями IP

• Пакеты для которых требуется отправка сообщений ICMP Redirect или Unreachable, например TTL=1, ACL Deny и т.д..

• Пакеты, которые должны обрабатываться процессором, напримерACL Logging

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 22

Page 23: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Процесс BGP Scanner

Router#show process cpu | include CPU|SNMP

CPU utilization for five seconds: 71%/0%; one minute: 29%; five minutes: 8%

PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process

97 25889 203 127532 70.15% 31.11% 7.05% 0 SNMP ENGINE

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 23

Высокая загрузка процессора процессамиПроцесс SNMP Engine

Проходит вдоль таблицы BGP и подтверждает достижимость следующих маршрутизаторов. Процесс также проверяет анонсы с условиями для того чтобы определить будет BGP или не будет отправлять префиксы с условиями, выполняет дампенинг маршрутов. Для этого процесса характерно кратковременное периодическое увеличение нагрузки на процессор, когда устройство хранит огромные таблицы маршрутизации.

Router#show proc cpu | include BGP|PID

PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process

94 4 197 20 0.30% 0.00% 0.00% 0 BGP Router

103 0 1 0 0.05% 0.00% 0.00% 0 BGP I/O

145 188 186 1010 0.07% 0.00% 0.00% 0 BGP Scanner

Page 24: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Высокая загрузка процессора процессамиПроцессы Exec и Virtual Exec

Высокая загрузка процессора возникает когда слишком много сообщений отправляется на консоль или линии vty

Router#show process cpu | include CPU|Virtual |Exec

CPU utilization for five seconds: 30%/0%; one minute: 8%; five minutes: 5%

PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process

3 272 194 1402 29.00% 2.12% 1.89% 0 Exec

54 180 1443 124 0.00% 0.00% 0.00% 1 Virtual Exec

Проверьте не включен ли режим отладки (debug) с помощью команды “show debug”. Выполните “undebug all” если необходимо

Router#show debugging

Generic IP:

IP packet debugging is on

Отключите вывод сообщений с помощью команд “no logging console” или “no logging terminal”

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 24

Page 25: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Высокая загрузка процессора пакетами

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 25

Page 26: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Определение пакетов, обрабатываемых процессором

• Статистика по пакетам, которые видны в выводе команд show interfaces, show ip traffic, анализ размера буферов к сожалению не дает ответа на вопрос, почему пакеты отправляются для обработки в процессор и как это предотвратить.

• В таком случае надо искать возможности анализа трафика, используя архитектурные особенности оборудования.

• Как вариант, надо найти объединяющие особенности трафика

Большая часть трафика приходит через один и тот же интерфейс, vlan, совокупность интерфейсов, vrf

Все пакеты имеют один и тот же адрес получателя

Все пакеты созданы одним и тем же протоколом (MPLS, ICMP, TCP, UDP), имеют один и тот же порт получателя

Все пакеты большого размера, либо фрагментированы или имеют опции

• Либо захват пакетов с их последующим анализом

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 26

Page 27: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Зеркалирование трафика c помощью CPU SPAN

Захват трафика идущий на RP/SP с помощью CPU SPAN

Router(config)# monitor session 1 type local

Router(config-mon-local)# source cpu {rp | sp} [rx | tx | both]

Router(config-mon-local)# destination {interface}

Router(config-mon-local)# no shutdown

CPU SPAN зеркалирует трафик с точки зрения ASIC которые посылают и получают трафик процессора, т.е. чтобы захватить трафик, получаемый процессором, надо использовать параметр tx

Можно использовать фильтры для определения VLAN отправителя:

Router(config-mon-local)# filter {single_vlan | vlan_list |

vlan_range | mixed_vlan_list}

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 27

Page 28: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Определение трафика, загружающего процессор

Если нагрузку на CPU создает трафик, который попадает на control plane, то можно собрать трассу, проанализировать ее и сделать выводы о том насколько данный трафик легитимен

#monitor capture cisco control-plane both

#monitor capture cisco buffer circular size 100

#monitor capture cisco match any

Запустить сбор трассы, когда трафик присутствует.

#monitor capture cisco start

Остановить сбор трассы через некоторое время:

#monitor capture cisco stop

Выгрузить с ASR трассу на TFTP сервер командой

#monitor capture cisco export tftp://<IP-addr of TFTP server>/cisco.pcap

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 28

Page 29: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Анализ собранной трассы с помощью WireShark

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 29

Page 30: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Анализ трафика на супервизорах 720

Захват пакетов с помощью netdr выполняется контроллером MSFC CPU. Это самое близкое место, в котором вы можете захватить пакеты на MSFC для того чтобы определить какой трафик передается (punted) в MSFC/RP CPU. Для супервизоров Sup720 и Sup32 имеется возможность захватывать пакеты, идущие в RP или SP. Команда netdr может быть использована для захвата пакетов, передаваемых в обоих направлениях (Tx и Rx) при программной обработке (software-switching).

6500-2#debug netdr cap rx and-filter source-ip-address 10.10.10.2

destination-ip-address 10.100.101.10

6500-2#sh netdr cap

A total of 4096 packets have been captured

The capture buffer wrapped 0 times

Total capture capacity: 4096 packets

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 30

Page 31: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Анализ трафика на супервизорах 720

------- dump of incoming inband packet -------

interface Vl10, routine mistral_process_rx_packet_inlin, timestamp 00:00:11

dbus info: src_vlan 0xA(10), src_indx 0xC0(192), len 0x40(64)

bpdu 0, index_dir 0, flood 0, dont_lrn 0, dest_indx 0x380(896)

10020400 000A0000 00C00000 40080000 00060468 0E000040 00000000 03800000

mistral hdr: req_token 0x0(0), src_index 0xC0(192), rx_offset 0x76(118)

requeue 0, obl_pkt 0, vlan 0xA(10)

destmac 00.15.C7.26.FB.80, srcmac 00.00.01.00.06.00, protocol 0800

protocol ip: version 0x04, hlen 0x05, tos 0x00, totlen 46, identifier 0

df 0, mf 0, fo 0, ttl 100, src 10.10.10.2, dst 10.100.101.10

tcp src 0, dst 0, seq 0, ack 0, win 0 off 5 checksum 0x265C

https://supportforums.cisco.com/ru/document/125971

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 31

Page 32: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Защита процессора с помощью Control Plane Policy Protection

Чтобы настроить CoPP необходимо:

• Определить критерии классификации пакетов:

Router(config)# class-map <traffic_class_name>

Router(config-cmap)# match <access-group>

• Определить сервисную политику

Router(config-pmap)# policy-map<service_policy_name>

Router(config-pmap)# class <traffic_class_name>

Router(config-pmap)# police <rate> conform-action transmit

exceed-action drop

• Перейти в режим конфигурирования control-plane

Router(config)# control-plane

Router(config-cp)#

• Применить политику QoS

Router(config-cp)# service-policy input <service_policy_name>

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 32

Page 33: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Пример СоРР. Ограничение трафика telnet

! Определение класса telnetclass-map telnet-class

match access-group 140

! Определение списка доступа для выбора пакетов telnet

! Разрешить трафик от устройства 3.3.3.3access-list 140 deny tcp host 3.3.3.3 any eq telnet ! Разрешить трафик от устройства 4.4.4.4access-list 140 deny tcp host 4.4.4.4 any eq telnet ! Весь остальной трафик попадает под действие политикиaccess-list 140 permit tcp any any eq telnet

! Определение политикиpolicy-map control-plane-policyclass telnet-class

! Ограничить полосу пропускания для класса telnet равной 80kbps, при превышении трафик отбрасывается

police 80000

! Назначить политикуcontrol-plane

service-policy input control-plane-policy

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 33

Page 34: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Проверка работы СоРРRouter#show policy-map control-plane

Control Plane Interface

Service policy cpp-test

Hardware Counters:

class-map: cpp-class1 (match-all)

Match: access-group 111

police :

96000 bps 3000 limit 3000 extended limit

Earl in slot 6 :

0 bytes

5 minute offered rate 0 bps

aggregate-forwarded 0 bytes action: transmit

exceeded 0 bytes action: drop

aggregate-forward 0 bps exceed 0 bps

Software Counters:

Class-map: cpp-class1 (match-all) 0 packets, 0 bytes

5 minute offered rate 0 bps, drop rate 0 bps

Match: access-group 111

police:

100000 bps, 3125 limit, 3125 extended limit

conformed 0 packets, 0 bytes; action: transmit

exceeded 0 packets, 0 bytes; action: drop

conformed 0 bps, exceed 0 bps, violate 0 bps

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 34

Page 35: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Потери пакетов

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 35

Page 36: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Проверка потери пакетов

Просмотр статистики на интерфейсах:

Router#show interfaces

GigabitEthernet0/1 is up, line protocol is up

...

Input queue: 0/75/25350/0 (size/max/drops/flushes); Total output drops: 0

Queueing strategy: Class-based queueing

Output queue: 0/1000/0 (size/max total/drops)

5 minute input rate 53272000 bits/sec, 13620 packets/sec

5 minute output rate 95490000 bits/sec, 16657 packets/sec

Уменьшение интервала вычисление статистики на интерфейсах:

Router(config-if)#load-interval 30

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 36

Page 37: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Потеря приходящих пакетов

Причина потери приходящих пакетов чаще всего связана с проблемами с внутренними ресурсами устройства, которое по тем или иным причинам не успевает обрабатывать приходящие пакеты.

Варианты решения проблемы:

• Устранить проблемы с загрузкой внутренних компонентов

• Увеличить размер очереди для приходящих пакетов

Router(config-if)#hold-queue ?

<0-240000> Queue length

Удалить статистику с интерфейсов после изменения размера очереди

Router#clear counters gigabitEthernet 0/0/0

Clear "show interface" counters on this interface [confirm]

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 37

Page 38: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Причины Input errors и Overrun на ASR1000

TenGigabitEthernet0/1/0 is up, line protocol is up

...

Input queue: 0/375/0/0 (size/max/drops/flushes); Total output drops: 0

Queueing strategy: fifo Output queue: 0/40 (size/max)

5 minute input rate 6281191000 bits/sec, 927759 packets/sec

5 minute output rate 6552635000 bits/sec, 991723 packets/sec

2739070738313 packets input, 2309716465895527 bytes, 0 no buffer

Received 12 broadcasts (0 IP multicasts)

0 runts, 0 giants, 0 throttles

9439290 input errors, 0 CRC, 0 frame, 9439290 overrun, 0 ignored

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 38

Page 39: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Проверка загрузки процессораRouter#show process cpu history

...

111111111111111111111111111111111111111111111111111111111111111111111111

100

90

80

70

60

50

40

30

20

10

0....5....1....1....2....2....3....3....4....4....5....5....6....6....7..

0 5 0 5 0 5 0 5 0 5 0 5 0

CPU% per hour (last 72 hours)

* = maximum CPU% # = average CPU%

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 39

Page 40: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Проверка загруженности QFP

Router#show platform hardware qfp active datapath utilization qfp 0

CPP 0: Subdev 0 5 secs 1 min 5 min 60 min

Input: Priority (pps) 1 2 2 2

(bps) 1328 2456 2600 2592

Non-Priority (pps) 1565455 1548418 1537575 1579971

(bps) 10211966456 10092549384 9995467136 10417804608

Total (pps) 1565456 1548420 1537577 1579973

(bps) 10211967784 10092551840 9995469736 10417807200

Output: Priority (pps) 0 0 0 0

(bps) 448 288 288 280

Non-Priority (pps) 1554012 1536990 1526164 1568631

(bps) 10201379664 10082326672 9985229536 10407201256

Total (pps) 1554012 1536990 1526164 1568631

(bps) 10201380112 10082326960 9985229824 10407201536

Processing: Load (pct) 33 32 32 33

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 40

Page 41: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Решение проблемы с Overrun

На ESP пакеты уходят с шины в General Packet memory (GPM). Эта память разделена на равные части, привязанных к 16 возможным источникам трафика (input FIFO). Для SPA выделено два канала, низкоприоритетный канал и высокоприоритетный канал. Низкоприоритетному каналу выделено 18.27% GPM и высокоприоритетному каналу выделено 19.24% GPM.

Если пакеты покидают шину, но при этом нет свободного места в GPM, то в этом случае для модуля SPA передается команда удерживать пакеты в буферах на SPA. Если свободное место в буферах закончилось, то в этом случае наблюдаются вида overrun.

Пакеты начинают отбрасываться когда GPM израсходована, а SPA передана команда придерживать пакеты. Все это происходит когда загрузка QFP далека от 100%, потому что свободные ресурсы заканчиваются у GPM.

Устранить проблему можно путем использования обеих частей GPM –низкоприоритетной и высокоприоритетной. По умолчанию Ethernet пакеты, с маркировкой CoS 6 и 7, считает высокоприоритетными.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 41

Page 42: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Ошибки загрузки после обновления IOS

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 42

Page 43: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Важность обновления Firmware модулей

При обновлении версии IOS не забывайте обновлять программное обеспечение

для модулей, называемое Firmware. Проблемы с которыми можно столкнуться при

расхождении версий IOS и Firmware:

• Некорректная диагностика работы модулей. Диагностика может показывать

проблемы у работающего модуля и наоборот, у проблемного модуля будет

отображаться рабочее состояние.

• После очередного обновления IOS, устройство перестанет загружаться, если

Firmware осталось старым

Calculating SHA-1 hash...done

validate_package: SHA-1 hash:

calculated 386b07a7:34136664:8dd32677:3f852c97:bd9644be

expected a5e62506:70dad839:41872bd9:09fbeef9:39dbbd08

SHA-1 hash doesn't match

boot: cannot determine first file name on device "usb0:/"

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 43

Page 44: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Версии ROMmon для каждого модуля

------------------ show platform ------------------

...

Slot CPLD Version Firmware Version

--------- ------------------- ---------------------------------------

0 14011701 15.4(2r)S

1 14011701 15.4(2r)S

R0 13092401 15.2(1r)S

R1 13092401 15.2(1r)S

http://www.cisco.com/c/en/us/td/docs/routers/asr1000/release/notes/asr1k_rn_rel_notes/asr1k_rn_sys_req.html#pgfId-3201398

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 44

Cisco IOS XE Release

ASR 1000 RP1

ASR 1002 RP1

ASR 1000 RP2

ASR 1000-ESP5

ASR 1000-ESP10

ASR1000-ESP20

ASR1000-ESP40

ASR1000-ESP100

ASR1000-ESP200

3.13.x XND1 XND1 15.2(1r)S XNC XNC XNC 15.0(1r)S 15.3(1r)S 15.3(1r)S

3.14.x XND1 XND1 15.2(1r)S XNC XNC XNC 15.0(1r)S 15.3(1r)S 15.3(1r)S

3.15.x XND1 XND1 15.2(1r)S XNC XNC XNC 15.0(1r)S 15.3(1r)S 15.3(1r)S

3.16.x XND1 XND1 15.2(1r)S XNC XNC XNC 15.0(1r)S 15.3(1r)S 15.3(1r)S

3.17.x XND1 XND1 15.2(1r)S XNC XNC XNC 15.0(1r)S 15.3(1r)S 15.3(1r)S

Page 45: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Проблемы из-за недостатка памяти

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 45

Page 46: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Проблемы, вызванные недостатком памяти

Оперативная память – один из важнейших компонентов устройства. Оперативная память используется для хранения операционной системы под управлением которой работает устройство, для хранения служебных таблиц, создающихся автоматически в результате работы служебных протоколов, таких как протоколы маршрутизации, ARP, CDP, VTP, SSH, Telnet, HSRP и многих других.

Недостаток оперативной памяти приводит к нестабильной работе отдельных приложений или устройства в целом. В отдельных случаях это заканчивается самопроизвольной перезагрузкой устройства, так называемым крэшем.

Наблюдение за размером свободной оперативной памяти работающего устройства и своевременное вмешательство в процесс распределения оперативной памяти позволит не допустить экстренных ситуаций в работе оборудования.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 46

Page 47: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Проверка наличия ресурсов устройства

Проверьте на какую нагрузку рассчитано ваше устройство. Эту информацию можно найти на сайте cisco.com. Например, для ASR1000определено максимальное количество маршрутов для протоколов IPv4 и IPv6, которые может поддерживать маршрутизатор с определенным размером оперативной памяти.

Cisco ASR 1002-X Integrated Route Processor Product Specifications

http://www.cisco.com/c/en/us/products/collateral/routers/asr-1000-series-aggregation-services-routers/data_sheet_c78-441072.html

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 47

Performance With 4-GB memory:

● Up to 500,000 IPv4 or 500,000 IPv6 routes

With 8-GB or 16-GB memory:

● Up to 1,000,000 IPv4 or 1,000,000 IPv6 routes - 8 GB

Memory

● Up to 3,500,000 IPv4 or 3,000,000 IPv6 routes - 16 GB

Memory

Page 48: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Проверка наличия ресурсов устройства

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 48

Memory options ● Cisco ASR 1002-X ships with 4-GB memory by default. It can be upgraded to 8- or 16-GB memory.

● Cisco ASR 1002-X has 4 DRAM memory slots, which can take either 2- or 4-GB DRAM each.

● When shipped with 4-GB DRAM (M-ASR1002X-4 GB), 2 slots are filled with 2 GB each.

● When shipped with 8-GB DRAM (M-ASR1002X-8 GB), 4 slots are filled with 2 GB each.

● When shipped with 16-GB DRAM (M-ASR1002X-16 GB), 4 slots are filled with 4 GB each.

Page 49: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Software redundancy как причина нехватки памяти

Redundancy обычно используется для обеспечения отказоустойчивости устройства. При выходе из строя одного из компомнентов, управление передается второму и устройство продолжает работать

Маршрутизаторы ASR1001, ASR1001-X, ASR1002, ASR1002-X, ASR1004не поддерживают Hardware Redundancy, потому что в них нельзя установить второй модуль RP.

Software Redundancy позволяет запустить два образа IOSd поверх Linux, но при этом расходуется в два раза больше памяти.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 49

Reliability and availability ● No route-processor hardware redundancy

● Software redundancy available (requires software redundancy license

and 8-GB memory)

Page 50: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Распределение памяти на ASR1000

• Распределение памяти определяется архитектурными особенностями.Вручную нельзя изменить распределение памяти.

• ASR1001, ASR1001-X, ASR1002-X используют одну память для всех подсистем RP, ESP, SIP

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 50

RP and Physical Memory Memory Allocated to IOSd(w/o IOSd redundancy enabled)

Memory Allocated to Kernel and other processes

RP1 (4GB) 1.7GB 2.3GB

RP2 (8GB) 4.2GB 3.8GB

RP2 (16GB) 10GB 6GB

ASR 1001 – 4GB 1.4GB 2.6GB

ASR 1001 – 8GB 4GB 4GB

ASR 1001 – 16GB 7GB 9GB

Page 51: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Пример распределения памяти для ASR1002

Router#show process memory output

Processor Pool Total: 1695268496 Used: 362330804 Free:

1332937692

lsmpi_io Pool Total: 6295088 Used: 6294116 Free: 972

Router#show version

cisco ASR1002 (2RU) processor with 1655643K/6147K bytes of

memory.

6 Gigabit Ethernet interfaces

32768K bytes of non-volatile configuration memory.

4194304K bytes of physical memory.

7798783K bytes of eUSB flash at bootflash:.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 51

Page 52: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Пример распределения памяти для ASR1002-X

Router#show process memory output

Processor Pool Total: 3905088960 Used: 2876800024 Free:

1028288936

lsmpi_io Pool Total: 6295128 Used: 6294296 Free: 832

Router#show version

cisco ASR1002-X (2RU-X) processor with 3813739K/6147K bytes of

memory.

6 Gigabit Ethernet interfaces

32768K bytes of non-volatile configuration memory.

8388608K bytes of physical memory.

6684671K bytes of eUSB flash at bootflash:.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 52

Page 53: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Отключение Software Redundancy

#show running-config

...

redundancy

mode sso

#show version

...

cisco ASR1004 (RP2) processor with 1575783K/6147K bytes of memory.

...

8388608K bytes of physical memory.

#show running-config

...

redundancy

mode none

#show version

...

cisco ASR1004 (RP2) processor with 3015264K/6147K bytes of memory.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 53

Page 54: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Сообщество технической поддержки

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 54

Page 55: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 055

Сообщество Технической поддержки Cisco

https://supportforums.cisco.com

http://russiansupportforum.cisco.com

email:[email protected]

Page 56: Cisco Connect...опускается, то в такой ситуации легче определить ее причину. В любой момент времени мы можем

#CiscoConnectRu#CiscoConnectRu

Спасибо за внимание!

Оцените данную сессию в мобильном приложении конференции

© 2017 Cisco and/or its affiliates. All rights reserved.

Контакты:

Тел.: +7 495 9611410www.cisco.com

www.facebook.com/CiscoRu

www.vk.com/cisco

www.instagram.com/ciscoru

www.youtube.com/user/CiscoRussiaMedia