Red Hat Enterprise Linux 8...Red Hat Enterprise Linux 8 Configuración de redes InfiniBand y RDMA Guía de configuración de redes InfiniBand y RDMA en Red Hat Enterprise Linux 8 Enter

Red Hat Enterprise Linux 8

Configuración de redes InfiniBand y RDMA

Guía de configuración de redes InfiniBand y RDMA en Red Hat Enterprise Linux 8

Last Updated: 2021-03-08

Red Hat Enterprise Linux 8 Configuración de redes InfiniBand y RDMA

Guía de configuración de redes InfiniBand y RDMA en Red Hat Enterprise Linux 8

Enter your first name here. Enter your surname here.Enter your organisation's name here. Enter your organisational division here.Enter your email address here.

Legal Notice

Copyright © 2021 | You need to change the HOLDER entity in the en-US/Configuring_InfiniBand_and_RDMA_networks.ent file |.

The text of and illustrations in this document are licensed by Red Hat under a Creative CommonsAttribution–Share Alike 3.0 Unported license ("CC-BY-SA"). An explanation of CC-BY-SA isavailable athttp://creativecommons.org/licenses/by-sa/3.0/. In accordance with CC-BY-SA, if you distribute this document or an adaptation of it, you mustprovide the URL for the original version.

Red Hat, as the licensor of this document, waives the right to enforce, and agrees not to assert,Section 4d of CC-BY-SA to the fullest extent permitted by applicable law.

Red Hat, Red Hat Enterprise Linux, the Shadowman logo, the Red Hat logo, JBoss, OpenShift,Fedora, the Infinity logo, and RHCE are trademarks of Red Hat, Inc., registered in the United Statesand other countries.

Linux ® is the registered trademark of Linus Torvalds in the United States and other countries.

Java ® is a registered trademark of Oracle and/or its affiliates.

XFS ® is a trademark of Silicon Graphics International Corp. or its subsidiaries in the United Statesand/or other countries.

MySQL ® is a registered trademark of MySQL AB in the United States, the European Union andother countries.

Node.js ® is an official trademark of Joyent. Red Hat is not formally related to or endorsed by theofficial Joyent Node.js open source or commercial project.

The OpenStack ® Word Mark and OpenStack logo are either registered trademarks/service marksor trademarks/service marks of the OpenStack Foundation, in the United States and othercountries and are used with the OpenStack Foundation's permission. We are not affiliated with,endorsed or sponsored by the OpenStack Foundation, or the OpenStack community.

All other trademarks are the property of their respective owners.

Resumen

Este documento describe qué son InfiniBand y el acceso directo a memoria remota (RDMA) y cómoconfigurar el hardware de InfiniBand. Además, esta documentación explica cómo configurar losservicios relacionados con InfiniBand.

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Table of Contents

PROPORCIONAR COMENTARIOS SOBRE LA DOCUMENTACIÓN DE RED HAT

CAPÍTULO 1. COMPRENSIÓN DE INFINIBAND Y RDMARecursos adicionales

CAPÍTULO 2. CONFIGURACIÓN DE ROCE2.1. RESUMEN DE LAS VERSIONES DEL PROTOCOLO ROCE

Recursos adicionales2.2. CAMBIAR TEMPORALMENTE LA VERSIÓN ROCE POR DEFECTO

Requisitos previosProcedimiento

2.3. CONFIGURACIÓN DE SOFT-ROCEProcedimiento

CAPÍTULO 3. CONFIGURACIÓN DEL SUBSISTEMA CENTRAL RDMA3.1. CONFIGURACIÓN DEL SERVICIO RDMA

Procedimiento3.2. RENOMBRAR DISPOSITIVOS IPOIB

Requisitos previosProcedimientoRecursos adicionales

3.3. AUMENTAR LA CANTIDAD DE MEMORIA QUE LOS USUARIOS PUEDEN FIJAR EN EL SISTEMA

CAPÍTULO 4. CONFIGURACIÓN DE UN GESTOR DE SUBRED INFINIBAND4.1. INSTALACIÓN DEL GESTOR DE SUBREDES OPENSM4.2. CONFIGURACIÓN DE OPENSM MEDIANTE EL MÉTODO SIMPLE4.3. CONFIGURAR OPENSM EDITANDO EL ARCHIVO OPENSM.CONF4.4. CONFIGURACIÓN DE MÚLTIPLES INSTANCIAS DE OPENSM4.5. CREACIÓN DE UNA CONFIGURACIÓN DE PARTICIÓN

CAPÍTULO 5. CONFIGURACIÓN DE IPOIB5.1. LOS MODOS DE COMUNICACIÓN IPOIB5.2. ENTENDER LAS DIRECCIONES DE HARDWARE IPOIB

Recursos adicionales5.3. CONFIGURACIÓN DE UNA CONEXIÓN IPOIB MEDIANTE COMANDOS NMCLI

Requisitos previosProcedimiento

5.4. CONFIGURACIÓN DE UNA CONEXIÓN IPOIB MEDIANTE NM-CONNECTION-EDITORRequisitos previosProcedimiento

CAPÍTULO 6. PRUEBA DE REDES INFINIBAND6.1. PRUEBA DE LAS PRIMERAS OPERACIONES RDMA DE INFINIBAND

Requisitos previosProcedimientoRecursos adicionales

6.2. PROBANDO UN IPOIB USANDO LA UTILIDAD PING6.3. PROBANDO UNA RED RDMA USANDO QPERF DESPUÉS DE CONFIGURAR IPOIB

3

44

55555666

88888899

111111

121314

16161617171717181818

20202020222222

Table of Contents

1


2

PROPORCIONAR COMENTARIOS SOBRE LADOCUMENTACIÓN DE RED HAT

Agradecemos su opinión sobre nuestra documentación. Por favor, díganos cómo podemos mejorarla.Para ello:

Para comentarios sencillos sobre pasajes concretos:

1. Asegúrese de que está viendo la documentación en el formato Multi-page HTML. Además,asegúrese de ver el botón Feedback en la esquina superior derecha del documento.

2. Utilice el cursor del ratón para resaltar la parte del texto que desea comentar.

3. Haga clic en la ventana emergente Add Feedback que aparece debajo del texto resaltado.

4. Siga las instrucciones mostradas.

Para enviar comentarios más complejos, cree un ticket de Bugzilla:

1. Vaya al sitio web de Bugzilla .

2. Como componente, utilice Documentation.

3. Rellene el campo Description con su sugerencia de mejora. Incluya un enlace a la(s)parte(s) pertinente(s) de la documentación.

4. Haga clic en Submit Bug.

PROPORCIONAR COMENTARIOS SOBRE LA DOCUMENTACIÓN DE RED HAT

3

https://bugzilla.redhat.com/enter_bug.cgi?product=Red Hat Enterprise Linux 8

CAPÍTULO 1. COMPRENSIÓN DE INFINIBAND Y RDMAInfiniBand se refiere a dos cosas distintas:

El protocolo de la capa de enlace física para las redes InfiniBand

La API InfiniBand Verbs, que es una implementación de la tecnología de acceso directo amemoria remota (RDMA)

RDMA permite acceder a la memoria de un ordenador a la de otro sin que intervenga el sistemaoperativo de ninguno de los dos. Esta tecnología permite crear redes de alto rendimiento y baja latenciacon una baja utilización de la CPU.

En una transferencia de datos IP típica, cuando una aplicación en una máquina envía datos a unaaplicación en otra máquina, lo siguiente sucede en el lado receptor:

1. El núcleo debe recibir los datos.

2. El núcleo debe determinar que los datos pertenecen a la aplicación.

3. El núcleo despierta la aplicación.

4. El kernel espera a que la aplicación realice una llamada al sistema en el kernel.

5. La aplicación copia los datos del espacio de memoria interna del propio kernel en el bufferproporcionado por la aplicación.

Este proceso implica que la mayor parte del tráfico de red se copie a través de la memoria principal delsistema si el adaptador de host utiliza el acceso directo a la memoria (DMA), o de lo contrario, al menosdos veces. Además, el ordenador ejecuta una serie de cambios de contexto para cambiar entre elcontexto del núcleo y el de la aplicación. Ambos cambios de contexto pueden causar una alta carga dela CPU a altas tasas de tráfico y ralentizar otras tareas.

La comunicación RDMA evita la intervención del kernel en el proceso de comunicación, a diferencia de lacomunicación IP normal. Esto reduce la sobrecarga de la CPU. El protocolo RDMA permite al adaptadordel host saber cuándo llega un paquete desde la red, qué aplicación debe recibirlo y en qué lugar delespacio de memoria de la aplicación debe almacenarse el paquete. En lugar de enviar el paquete alnúcleo para que lo procese y luego lo copie en la memoria de la aplicación del usuario, con InfiniBand, eladaptador de host coloca el contenido del paquete directamente en el búfer de la aplicación. Esteproceso requiere una API separada, la InfiniBand Verbs API, y las aplicaciones deben soportar esta APIantes de poder utilizar RDMA.

Red Hat Enterprise Linux 8 soporta tanto el hardware InfiniBand como la API InfiniBand Verbs. Además,Red Hat Enterprise Linux admite las siguientes tecnologías que permiten utilizar la API Verbs InfiniBanden hardware que no sea InfiniBand:

Protocolo RDMA de área amplia de Internet (iWARP): Un protocolo de red que implementaRDMA sobre redes IP.

RDMA sobre Ethernet convergente (RoCE), también conocido como InfiniBand sobre Ethernet(IBoE): Un protocolo de red que implementa RDMA sobre redes Ethernet.

Recursos adicionales

Para más detalles sobre la configuración de una implementación de software de RoCE, consulteCapítulo 2, Configuración de RoCE .


4

CAPÍTULO 2. CONFIGURACIÓN DE ROCEEn esta sección se explican los antecedentes de RDMA sobre Ethernet convergente (RoCE), así como laforma de cambiar la versión predeterminada de RoCE y de configurar un adaptador RoCE por software.

Tenga en cuenta que hay diferentes proveedores, como Mellanox, Broadcom y QLogic, queproporcionan hardware RoCE.

2.1. RESUMEN DE LAS VERSIONES DEL PROTOCOLO ROCE

RoCE es un protocolo de red que permite el acceso remoto directo a la memoria (RDMA) a través deEthernet.

A continuación se detallan las diferentes versiones de RoCE:

RoCE v1

El protocolo RoCE versión 1 es un protocolo de capa de enlace Ethernet con ethertype 0x8915 quepermite la comunicación entre dos hosts cualesquiera en el mismo dominio de difusión Ethernet.Por defecto, cuando se utiliza un adaptador de red Mellanox ConnectX-3, Red Hat Enterprise Linuxutiliza RoCE v1 para el RDMA Connection Manager (RDMA_CM).

RoCE v2

El protocolo RoCE versión 2 existe sobre el protocolo UDP sobre IPv4 o el UDP sobre IPv6. Elpuerto de destino UDP número 4791 está reservado para RoCE v2.Por defecto, cuando se utiliza un adaptador de red Mellanox ConnectX-3 Pro, ConnectX-4 Lx oConnectX-5, Red Hat Enterprise Linux utiliza RoCE v2 para el RDMA_CM, pero el hardware soportatanto RoCE v1 como RoCE v2.

El RDMA_CM establece una conexión fiable entre un cliente y un servidor para la transferencia de datos.RDMA_CM proporciona una interfaz de transporte neutral RDMA para establecer conexiones. Lacomunicación utiliza un dispositivo RDMA específico y las transferencias de datos se basan en mensajes.

IMPORTANTE

No es posible utilizar RoCE v2 en el cliente y RoCE v1 en el servidor. En este caso,configure tanto el servidor como el cliente para comunicarse a través de RoCE v1.


Sección 2.2, “Cambiar temporalmente la versión RoCE por defecto”

2.2. CAMBIAR TEMPORALMENTE LA VERSIÓN ROCE POR DEFECTO

No se admite el uso del protocolo RoCE v2 en el cliente y RoCE v1 en el servidor. Si el hardware de suservidor sólo admite RoCE v1, configure sus clientes para que se comuniquen con el servidor utilizandoRoCE v1. Esta sección describe cómo aplicar RoCE v1 en el cliente que utiliza el controlador mlx5_0 parael dispositivo Mellanox ConnectX-5 Infiniband. Tenga en cuenta que los cambios descritos en estasección son sólo temporales hasta que reinicie el host.

Requisitos previos

El cliente utiliza un dispositivo InfiniBand que utiliza, por defecto, el protocolo RoCE v2.

CAPÍTULO 2. CONFIGURACIÓN DE ROCE

5

El dispositivo InfiniBand del servidor sólo es compatible con RoCE v1.

Procedimiento

1. Crear el /sys/kernel/config/rdma_cm/mlx5_0/ directorio:

# mkdir /sys/kernel/config/rdma_cm/mlx5_0/

2. Muestra el modo RoCE por defecto. Por ejemplo, para mostrar el modo del puerto 1:

# cat /sys/kernel/config/rdma_cm/mlx5_0/ports/1/default_roce_mode

RoCE v2

3. Cambia el modo RoCE por defecto a la versión 1:

# echo \ "IB/RoCE v1" > /sys/kernel/config/rdma_cm/mlx5_0/ports/1/default_roce_mode

2.3. CONFIGURACIÓN DE SOFT-ROCE

Soft-RoCE es una implementación de software de acceso directo a memoria remota (RDMA) sobreEthernet, que también se denomina RXE. Esta sección describe cómo configurar Soft-RoCE.

Utilizar Soft-RoCE en hosts sin adaptadores de canal de host RoCE (HCA).

Requisitos previos

Se ha instalado un adaptador Ethernet en el sistema.

Procedimiento

1. Instale los paquetes libibverbs, libibverbs-utils, y infiniband-diags:

# yum install libibverbs libibverbs-utils infiniband-diags

2. Carga el módulo del kernel rdma_rxe y muestra la configuración actual:

# rxe_cfg start Name Link Driver Speed NMTU IPv4_addr RDEV RMTU enp7s0 yes virtio_net 1500

3. Añade un nuevo dispositivo RXE. Por ejemplo, para añadir el dispositivo Ethernet enp7s0 comodispositivo RXE, introduzca:

# rxe_cfg add enp7s0

4. Muestra el estado del dispositivo RXE:

# rxe_cfg status Name Link Driver Speed NMTU IPv4_addr RDEV RMTU enp7s0 yes virtio_net 1500 rxe0 1024 (3)

En la columna RDEV, se ve que el enp7s0 está asignado al dispositivo rxe0.


6

5. Opcional: lista los dispositivos RDMA disponibles en el sistema:

# ibv_devices device node GUID ------ ---------------- rxe0 505400fffed5e0fb

Alternativamente, utilice la utilidad ibstat para mostrar un estado detallado:

# ibstat rxe0CA 'rxe0' CA type: Number of ports: 1 Firmware version: Hardware version: Node GUID: 0x505400fffed5e0fb System image GUID: 0x0000000000000000 Port 1: State: Active Physical state: LinkUp Rate: 100 Base lid: 0 LMC: 0 SM lid: 0 Capability mask: 0x00890000 Port GUID: 0x505400fffed5e0fb Link layer: Ethernet

CAPÍTULO 2. CONFIGURACIÓN DE ROCE

7

CAPÍTULO 3. CONFIGURACIÓN DEL SUBSISTEMA CENTRALRDMA

Esta sección describe cómo configurar el servicio rdma y aumentar la cantidad de memoria que losusuarios pueden fijar en el sistema.

3.1. CONFIGURACIÓN DEL SERVICIO RDMA

El servicio rdma gestiona la pila RDMA en el kernel. Si Red Hat Enterprise Linux detecta dispositivosInfiniBand, iWARP o RoCE, el gestor de dispositivos udev indica a systemd que inicie el servicio rdma.

Procedimiento

1. Edite el archivo /etc/rdma/rdma.conf y establezca las variables de los módulos que deseahabilitar en yes. Lo siguiente es el valor por defecto /etc/rdma/rdma.conf en Red HatEnterprise Linux 8:

# Load IPoIBIPOIB_LOAD=yes# Load SRP (SCSI Remote Protocol initiator support) moduleSRP_LOAD=yes# Load SRPT (SCSI Remote Protocol target support) moduleSRPT_LOAD=yes# Load iSER (iSCSI over RDMA initiator support) moduleISER_LOAD=yes# Load iSERT (iSCSI over RDMA target support) moduleISERT_LOAD=yes# Load RDS (Reliable Datagram Service) network protocolRDS_LOAD=no# Load NFSoRDMA client transport moduleXPRTRDMA_LOAD=yes# Load NFSoRDMA server transport moduleSVCRDMA_LOAD=no# Load Tech Preview device driver modulesTECH_PREVIEW_LOAD=no

2. Reinicie el servicio rdma:

# systemctl restart rdma

3.2. RENOMBRAR DISPOSITIVOS IPOIB

Por defecto, el kernel nombra los dispositivos IP sobre InfiniBand (IPoIB), por ejemplo, ib0, ib1, y asísucesivamente. Para evitar conflictos, Red Hat recomienda crear una regla en el gestor de dispositivos udev para crear nombres persistentes y significativos, como mlx4_ib0.

Requisitos previos

Se instala un dispositivo InfiniBand en el host.

Procedimiento

1. Muestra la dirección de hardware del dispositivo. Por ejemplo, para mostrar la dirección deldispositivo llamado ib0, introduzca:


8

# ip link show ib08: ib0: >BROADCAST,MULTICAST,UP,LOWER_UP< mtu 65520 qdisc pfifo_fast state UP mode DEFAULT qlen 256 link/infiniband 80:00:02:00:fe:80:00:00:00:00:00:00:00:02:c9:03:00:31:78:f2 brd 00:ff:ff:ff:ff:12:40:1b:ff:ff:00:00:00:00:00:00:ff:ff:ff:ff

Los últimos ocho bytes de la dirección, marcados en negrita en el ejemplo, son necesarios paracrear una regla udev en el siguiente paso.

2. Edite el archivo /etc/udev/rules.d/70-persistent-ipoib.rules y añada una regla ACTION. Porejemplo, para configurar una regla que cambie el nombre del dispositivo con la dirección dehardware 00:02:c9:03:00:31:78:f2 a mlx4_ib0, añada la siguiente línea:

ACTION=="add", SUBSYSTEM=="net", DRIVERS=="?*", ATTR{type}=="32", ATTR{address}=="?*00:02:c9:03:00:31:78:f2", NAME="mlx4_ib0"

3. Reinicia el host:

# rebote


Para más detalles sobre las reglas de udev, consulte la página de manual udev(7).

Para más detalles, por qué los primeros 12 bytes de la dirección de hardware no se utilizan en laregla udev, consulte Sección 5.2, “Entender las direcciones de hardware IPoIB” .

3.3. AUMENTAR LA CANTIDAD DE MEMORIA QUE LOS USUARIOSPUEDEN FIJAR EN EL SISTEMA

Las operaciones RDMA requieren la fijación de la memoria física. Esto significa que el kernel no puedeescribir memoria en el espacio de intercambio. Si un usuario fija demasiada memoria, el sistema puedequedarse sin memoria, y el núcleo termina los procesos para liberar más memoria. Por esta razón, laasignación de memoria es una operación privilegiada.

Si los usuarios que no son root ejecutan grandes aplicaciones RDMA, puede ser necesario aumentar lacantidad de memoria que estos usuarios pueden fijar en el sistema. Esta sección describe cómoconfigurar una cantidad ilimitada de memoria para el grupo rdma.

Procedimiento

Como usuario de root, cree el archivo /etc/security/limits.d/rdma.conf con el siguientecontenido:

@rdma soft memlock unlimited@rdma hard memlock unlimited

Pasos de verificación

1. Inicie sesión como miembro del grupo rdma después de haber editado el archivo /etc/security/limits.d/rdma.conf.Tenga en cuenta que Red Hat Enterprise Linux aplica la configuración actualizada de ulimitcuando el usuario se conecta.

CAPÍTULO 3. CONFIGURACIÓN DEL SUBSISTEMA CENTRAL RDMA

9

2. Utilice el comando ulimit -l para mostrar el límite:

$ ulimit -lunlimited

Si el comando devuelve unlimited, el usuario puede fijar una cantidad ilimitada de memoria.


Para más detalles sobre la limitación de los recursos del sistema, consulte la página man limits.conf(5).


10

CAPÍTULO 4. CONFIGURACIÓN DE UN GESTOR DE SUBREDINFINIBAND

Todas las redes InfiniBand deben tener un gestor de subred en funcionamiento para que la red funcione.Esto es cierto incluso si dos máquinas están conectadas directamente sin ningún conmutador.

Es posible tener más de un gestor de subred. En ese caso uno actúa como maestro y otro gestor desubred actúa como esclavo que tomará el relevo en caso de que el gestor de subred maestro falle.

La mayoría de los conmutadores InfiniBand contienen un gestor de subredes integrado. Sin embargo, sinecesita un gestor de subredes más actualizado o si requiere más control, utilice el gestor de subredes OpenSM proporcionado por Red Hat Enterprise Linux.

4.1. INSTALACIÓN DEL GESTOR DE SUBREDES OPENSM

Esta sección describe cómo instalar el gestor de subredes OpenSM.

Procedimiento

1. Instale el paquete opensm:

# yum install opensm

2. Configure OpenSM si la instalación por defecto no se ajusta a su entorno.Si sólo se instala un puerto InfiniBand, el host debería actuar como gestor de subred maestro, yno se necesitan cambios personalizados. La configuración por defecto funciona sin ningunamodificación.

3. Habilite e inicie el servicio opensm:

# systemctl enable --now opensm


Para obtener una lista de opciones de línea de comandos para el servicio opensm, así comodescripciones adicionales de las configuraciones de las particiones, la calidad del servicio (QoS)y otros temas avanzados, consulte la página man opensm(8).

4.2. CONFIGURACIÓN DE OPENSM MEDIANTE EL MÉTODO SIMPLE

Esta sección describe cómo configurar OpenSM si no necesita ninguna configuración personalizada.

Requisitos previos

Uno o más puertos InfiniBand están instalados en el servidor.

Procedimiento

1. Obtenga los GUIDs de los puertos utilizando la utilidad ibstat:

# ibstat -d device_nameCA 'mlx4_0'

CAPÍTULO 4. CONFIGURACIÓN DE UN GESTOR DE SUBRED INFINIBAND

11

CA type: MT4099 Number of ports: 2 Firmware version: 2.42.5000 Hardware version: 1 Node GUID: 0xf4521403007be130 System image GUID: 0xf4521403007be133 Port 1: State: Active Physical state: LinkUp Rate: 56 Base lid: 3 LMC: 0 SM lid: 1 Capability mask: 0x02594868 Port GUID: 0xf4521403007be131 Link layer: InfiniBand Port 2: State: Down Physical state: Disabled Rate: 10 Base lid: 0 LMC: 0 SM lid: 0 Capability mask: 0x04010000 Port GUID: 0xf65214fffe7be132 Link layer: Ethernet

NOTA

Algunos adaptadores InfiniBand utilizan el mismo GUID para el nodo, el sistema yel puerto.

2. Edite el archivo /etc/sysconfig/opensm y establezca los GUID en el parámetro GUIDS:

GUIDS="GUID_1 GUID_2 "

3. Opcionalmente, establezca el parámetro PRIORITY si hay varios gestores de subreddisponibles en su subred. Por ejemplo:

PRIORIDAD=15


Para obtener información adicional sobre los parámetros que puede establecer en /etc/sysconfig/opensm, consulte la documentación de ese archivo.

4.3. CONFIGURAR OPENSM EDITANDO EL ARCHIVO OPENSM.CONF

Esta sección describe cómo configurar OpenSM editando el archivo /etc/rdma/opensm.conf. Utiliceeste método para personalizar la configuración de OpenSM si solo hay un puerto InfiniBand disponible.

Requisitos previos


12

Sólo hay un puerto InfiniBand instalado en el servidor.

Procedimiento

1. Edite el archivo /etc/rdma/opensm.conf y personalice la configuración para que se ajuste a suentorno.

2. Reinicie el servicio opensm:

# systemctl restart opensm


Cuando se instala un paquete opensm actualizado, la utilidad yum almacena el nuevo archivode configuración de OpenSM como /etc/rdma/opensm.conf.rpmnew. Compare este archivocon su archivo personalizado /etc/rdma/opensm.conf e incorpore manualmente los cambios.

4.4. CONFIGURACIÓN DE MÚLTIPLES INSTANCIAS DE OPENSM

Esta sección describe cómo configurar varias instancias de OpenSM.

Requisitos previos


Procedimiento

1. Opcionalmente, copie el archivo /etc/rdma/opensm.conf en el archivo /etc/rdma/opensm.conf.orig:

# cp /etc/rdma/opensm.conf /etc/rdma/opensm.conf.orig

Cuando se instala un paquete opensm actualizado, la utilidad yum anula el /etc/rdma/opensm.conf. Con la copia creada en este paso, puede comparar el archivo anteriory el nuevo para identificar los cambios e incorporarlos manualmente en los archivos opensm.conf específicos de la instancia.

2. Cree una copia del archivo /etc/rdma/opensm.conf:

# cp /etc/rdma/opensm.conf /etc/rdma/opensm.conf.1

Para cada instancia que cree, añada un número único y continuo a la copia del archivo deconfiguración.

3. Edite la copia que creó en el paso anterior y personalice la configuración de la instancia paraque se ajuste a su entorno. Por ejemplo, establezca los parámetros guid, subnet_prefix, y logdir.

4. Opcionalmente, cree un archivo partitions.conf con un nombre único específicamente paraesta subred y haga referencia a ese archivo en el parámetro partition_config_file en la copiacorrespondiente del archivo opensm.conf.

5. Repita los pasos anteriores para cada instancia que desee crear.


13

6. Inicie el servicio opensm:

# systemctl start opensm

El servicio opensm inicia automáticamente una instancia única para cada archivo opensm.conf.* en el directorio /etc/rdma/. Si existen varios archivos opensm.conf.*, el servicioignora la configuración del archivo /etc/sysconfig/opensm así como la del archivo base /etc/rdma/opensm.conf.


Cuando se instala un paquete opensm actualizado, la utilidad yum almacena el nuevo archivode configuración de OpenSM como /etc/rdma/opensm.conf.rpmnew. Compare este archivocon sus archivos personalizados de /etc/rdma/opensm.conf.\* e incorpore manualmente loscambios.

4.5. CREACIÓN DE UNA CONFIGURACIÓN DE PARTICIÓN

Esta sección describe cómo crear configuraciones de partición InfiniBand para OpenSM. Las particionespermiten a los administradores crear subredes en InfiniBand similares a las VLAN de Ethernet.

IMPORTANTE

Si define una partición con una velocidad específica, como 40 Gbps, todos los hostsdentro de esta partición deben soportar al menos esta velocidad. Si un host no cumplecon los requisitos de velocidad, no podrá unirse a la partición. Por lo tanto, establezca lavelocidad de una partición a la velocidad más baja soportada por cualquier host conpermiso para unirse a la partición.

Requisitos previos


Procedimiento

1. Edite el archivo /etc/rdma/partitions.conf y configure las particiones.

NOTA

Todos los tejidos deben contener la partición 0x7fff, y todos los switches y todoslos hosts deben pertenecer a ese tejido.

Por ejemplo, añada el siguiente contenido al archivo para crear la partición por defecto 0x7fff auna velocidad reducida de 10 Gbps, y una partición 0x0002 con una velocidad de 40 Gbps:

# For reference:# IPv4 IANA reserved multicast addresses:# http://www.iana.org/assignments/multicast-addresses/multicast-addresses.txt# IPv6 IANA reserved multicast addresses:# http://www.iana.org/assignments/ipv6-multicast-addresses/ipv6-multicast-addresses.xml## mtu =# 1 = 256


14

# 2 = 512# 3 = 1024# 4 = 2048# 5 = 4096## rate =# 2 = 2.5 GBit/s# 3 = 10 GBit/s# 4 = 30 GBit/s# 5 = 5 GBit/s# 6 = 20 GBit/s# 7 = 40 GBit/s# 8 = 60 GBit/s# 9 = 80 GBit/s# 10 = 120 GBit/s

Default=0x7fff, rate=3, mtu=4, scope=2, defmember=full: ALL, ALL_SWITCHES=full;Default=0x7fff, ipoib, rate=3, mtu=4, scope=2: mgid=ff12:401b::ffff:ffff # IPv4 Broadcast address mgid=ff12:401b::1 # IPv4 All Hosts group mgid=ff12:401b::2 # IPv4 All Routers group mgid=ff12:401b::16 # IPv4 IGMP group mgid=ff12:401b::fb # IPv4 mDNS group mgid=ff12:401b::fc # IPv4 Multicast Link Local Name Resolution group mgid=ff12:401b::101 # IPv4 NTP group mgid=ff12:401b::202 # IPv4 Sun RPC mgid=ff12:601b::1 # IPv6 All Hosts group mgid=ff12:601b::2 # IPv6 All Routers group mgid=ff12:601b::16 # IPv6 MLDv2-capable Routers group mgid=ff12:601b::fb # IPv6 mDNS group mgid=ff12:601b::101 # IPv6 NTP group mgid=ff12:601b::202 # IPv6 Sun RPC group mgid=ff12:601b::1:3 # IPv6 Multicast Link Local Name Resolution group ALL=full, ALL_SWITCHES=full;

ib0_2=0x0002, rate=7, mtu=4, scope=2, defmember=full: ALL, ALL_SWITCHES=full;ib0_2=0x0002, ipoib, rate=7, mtu=4, scope=2: mgid=ff12:401b::ffff:ffff # IPv4 Broadcast address mgid=ff12:401b::1 # IPv4 All Hosts group mgid=ff12:401b::2 # IPv4 All Routers group mgid=ff12:401b::16 # IPv4 IGMP group mgid=ff12:401b::fb # IPv4 mDNS group mgid=ff12:401b::fc # IPv4 Multicast Link Local Name Resolution group mgid=ff12:401b::101 # IPv4 NTP group mgid=ff12:401b::202 # IPv4 Sun RPC mgid=ff12:601b::1 # IPv6 All Hosts group mgid=ff12:601b::2 # IPv6 All Routers group mgid=ff12:601b::16 # IPv6 MLDv2-capable Routers group mgid=ff12:601b::fb # IPv6 mDNS group mgid=ff12:601b::101 # IPv6 NTP group mgid=ff12:601b::202 # IPv6 Sun RPC group mgid=ff12:601b::1:3 # IPv6 Multicast Link Local Name Resolution group ALL=full, ALL_SWITCHES=full;


15

CAPÍTULO 5. CONFIGURACIÓN DE IPOIBPor defecto, InfiniBand no utiliza el protocolo de Internet (IP) para la comunicación. Sin embargo, IPsobre InfiniBand (IPoIB) proporciona una capa de emulación de red IP sobre las redes InfiniBand deacceso directo a memoria remota (RDMA). Esto permite que las aplicaciones existentes no modificadastransmitan datos a través de las redes InfiniBand, pero el rendimiento es menor que si la aplicaciónutilizara RDMA de forma nativa.

NOTA

Las redes Internet Wide Area RDMA Protocol (iWARP) y RoCE ya están basadas en IP.Por lo tanto, no se puede crear un dispositivo IPoIB sobre dispositivos IWARP o RoCE.

5.1. LOS MODOS DE COMUNICACIÓN IPOIB

Se puede configurar un dispositivo IPoIB en modo Datagram o Connected. La diferencia estriba en quétipo de par de colas intenta abrir la capa IPoIB con la máquina del otro extremo de la comunicación:

En el modo Datagram, el sistema abre un par de colas desconectado y no fiable.Este modo no admite paquetes más grandes que la unidad de transmisión máxima (MTU) de lacapa de enlace InfiniBand. La capa IPoIB añade una cabecera IPoIB de 4 bytes sobre el paqueteIP que se transmite. Como resultado, la MTU de IPoIB debe ser 4 bytes menos que la MTU de lacapa de enlace de InfiniBand. Como 2048 es una MTU común de la capa de enlace InfiniBand, laMTU común del dispositivo IPoIB en el modo Datagram es 2044.

En el modo Connected, el sistema abre un par de colas fiable y conectado.Este modo permite mensajes más grandes que la MTU de la capa de enlace de InfiniBand, y eladaptador del host se encarga de la segmentación y el reensamblaje de los paquetes. Comoresultado, no se impone ningún límite al tamaño de los mensajes IPoIB que pueden enviar losadaptadores InfiniBand en el modo Connected. Sin embargo, los paquetes IP están limitadospor el campo size y las cabeceras TCP/IP. Por este motivo, la MTU de IPoIB en el modo Connected es de 65520 bytes como máximo.

El modo Connected tiene un mayor rendimiento, pero consume más memoria del núcleo.

Si un sistema está configurado para utilizar el modo Connected, sigue enviando tráfico de multidifusiónen el modo Datagram, porque los conmutadores InfiniBand y el tejido no pueden pasar tráfico demultidifusión en el modo Connected. Además, el sistema vuelve al modo Datagram cuando secomunica con cualquier host que no esté configurado en el modo Connected.

Mientras se ejecuta una aplicación que envía datos de multidifusión hasta la MTU máxima en la interfaz,debe configurar la interfaz en modo Datagram o configurar la aplicación para limitar el tamaño de envíode paquetes a un tamaño que quepa en paquetes de tamaño datagrama.

5.2. ENTENDER LAS DIRECCIONES DE HARDWARE IPOIB

Los dispositivos IPoIB tienen una dirección de hardware de 20 bytes que consta de las siguientes partes:

Los primeros 4 bytes son banderas y números de pares de colas.

Los siguientes 8 bytes son el prefijo de la subred.El prefijo de subred por defecto es 0xfe:80:00:00:00:00:00:00. Después de que el dispositivo seconecte al administrador de subredes, el dispositivo cambia este prefijo para que coincida con elconfigurado en el administrador de subredes.


16

Los últimos 8 bytes son el identificador único global (GUID) del puerto InfiniBand al que estáconectado el dispositivo IPoIB.

NOTA

Como los primeros 12 bytes pueden cambiar, no los utilices en las reglas del administradorde dispositivos de udev.


Para más detalles sobre el cambio de nombre de los dispositivos IPoIB, consulte Sección 3.2,“Renombrar dispositivos IPoIB”.

5.3. CONFIGURACIÓN DE UNA CONEXIÓN IPOIB MEDIANTECOMANDOS NMCLI

Este procedimiento describe cómo configurar una conexión IPoIB utilizando los comandos de nmcli.

Requisitos previos

Se instala un dispositivo InfiniBand en el servidor y se carga el módulo del núcleocorrespondiente.

Procedimiento

1. Cree la conexión InfiniBand. Por ejemplo, para crear una conexión que utilice la interfaz mlx4_ib0 en el modo de transporte Connected y la MTU máxima de 65520 bytes, introduzca:

# nmcli connection add type infiniband con-name mlx4_ib0 ifname mlx4_ib0 transport-mode Connected mtu 65520

2. Opcional: establezca una interfaz P_Key. Por ejemplo, para establecer 0x8002 como interfaz P_Key de la conexión mlx4_ib0, introduzca:

# nmcli connection modify mlx4_ib0 infiniband.p-key 0x8002

3. Configure los ajustes de IPv4. Por ejemplo, para establecer una dirección IPv4 estática, unamáscara de red, una puerta de enlace predeterminada y un servidor DNS de la conexión mlx4_ib0, introduzca:

# nmcli connection modify mlx4_ib0 ipv4.addresses '192.0.2.1/24'# nmcli connection modify mlx4_ib0 ipv4.gateway '192.0.2.254'# nmcli connection modify mlx4_ib0 ipv4.dns '192.0.2.253'# nmcli connection modify mlx4_ib0 ipv4.method manual

4. Configure los ajustes de IPv6. Por ejemplo, para establecer una dirección IPv6 estática, unamáscara de red, una puerta de enlace predeterminada y un servidor DNS de la conexión mlx4_ib0, introduzca:

# nmcli connection modify mlx4_ib0 ipv6.addresses '2001:db8:1::1/32'# nmcli connection modify mlx4_ib0 ipv6.gateway '2001:db8:1::fffe'# nmcli connection modify mlx4_ib0 ipv6.dns '2001:db8:1::fffd'# nmcli connection modify mlx4_ib0 ipv6.method manual

CAPÍTULO 5. CONFIGURACIÓN DE IPOIB

17

5. Active la conexión. Por ejemplo, para activar la conexión mlx4_ib0:

# nmcli connection up mlx4_ib0

5.4. CONFIGURACIÓN DE UNA CONEXIÓN IPOIB MEDIANTE NM-CONNECTION-EDITOR

Este procedimiento describe cómo configurar una conexión IPoIB utilizando la aplicación nm-connection-editor.

Requisitos previos

Se instala un dispositivo InfiniBand en el servidor y se carga el módulo del núcleocorrespondiente.

El paquete nm-connection-editor está instalado.

Procedimiento

1. Abre un terminal y entra:

$ nm-connection-editor

2. Pulse el botón para añadir una nueva conexión.

3. Seleccione el tipo de conexión InfiniBand y haga clic en Crear.

4. En la pestaña InfiniBand:

a. Opcionalmente, cambie el nombre de la conexión.

b. Selecciona el modo de transporte.

c. Selecciona el dispositivo.

d. Opcional: establecer una MTU.

5. En la pestaña IPv4 Settings, configure los ajustes de IPv4. Por ejemplo, configure una dirección


18

5. En la pestaña IPv4 Settings, configure los ajustes de IPv4. Por ejemplo, configure una direcciónIPv4 estática, una máscara de red, una puerta de enlace predeterminada y un servidor DNS

6. En la pestaña IPv6 Settings, configure los ajustes de IPv6. Por ejemplo, configure una direcciónIPv6 estática, una máscara de red, una puerta de enlace predeterminada y un servidor DNS

7. Haga clic en Guardar para guardar la conexión del equipo.

8. Cerrar nm-connection-editor.

9. Opcional: establecer una interfaz P_Key. Tenga en cuenta que debe establecer este parámetroen la línea de comandos, ya que el ajuste no está disponible en nm-connection-editor.Por ejemplo, para establecer 0x8002 como interfaz P_Key de la conexión mlx4_ib0, introduzca:

# nmcli connection modify mlx4_ib0 infiniband.p-key 0x8002

CAPÍTULO 5. CONFIGURACIÓN DE IPOIB

19

CAPÍTULO 6. PRUEBA DE REDES INFINIBANDEsta sección proporciona procedimientos sobre cómo probar las redes InfiniBand.

6.1. PRUEBA DE LAS PRIMERAS OPERACIONES RDMA DE INFINIBAND

Esta sección describe cómo probar las operaciones de acceso remoto directo a memoria (RDMA) deInfiniBand.

NOTA

Esta sección sólo se aplica a los dispositivos InfiniBand. Si utiliza dispositivos iWARP oRoCE/IBoE, que están basados en IP, consulte:

Sección 6.2, “Probando un IPoIB usando la utilidad ping”

Sección 6.3, “Probando una red RDMA usando qperf después de configurarIPoIB”

Requisitos previos

RDMA está configurado.

Los paquetes libibverbs-utils y infiniband-diags están instalados.

Procedimiento

1. Enumera los dispositivos InfiniBand disponibles:

# ibv_devices device node GUID ------ ---------------- mlx4_0 0002c903003178f0 mlx4_1 f4521403007bcba0

2. Muestra la información de un dispositivo InfiniBand específico. Por ejemplo, para mostrar lainformación del dispositivo mlx4_1, introduzca:

# ibv_devinfo -d mlx4_1hca_id: mlx4_1 transport: InfiniBand (0) fw_ver: 2.30.8000 node_guid: f452:1403:007b:cba0 sys_image_guid: f452:1403:007b:cba3 vendor_id: 0x02c9 vendor_part_id: 4099 hw_ver: 0x0 board_id: MT_1090120019 phys_port_cnt: 2 port: 1 state: PORT_ACTIVE (4) max_mtu: 4096 (5) active_mtu: 2048 (4) sm_lid: 2


20

port_lid: 2 port_lmc: 0x01 link_layer: InfiniBand

port: 2 state: PORT_ACTIVE (4) max_mtu: 4096 (5) active_mtu: 4096 (5) sm_lid: 0 port_lid: 0 port_lmc: 0x00 link_layer: Ethernet

3. Muestra el estado básico de un dispositivo InfiniBand. Por ejemplo, para mostrar el estado deldispositivo mlx4_1, introduzca:

# ibstat mlx4_1CA 'mlx4_1' CA type: MT4099 Number of ports: 2 Firmware version: 2.30.8000 Hardware version: 0 Node GUID: 0xf4521403007bcba0 System image GUID: 0xf4521403007bcba3 Port 1: State: Active Physical state: LinkUp Rate: 56 Base lid: 2 LMC: 1 SM lid: 2 Capability mask: 0x0251486a Port GUID: 0xf4521403007bcba1 Link layer: InfiniBand Port 2: State: Active Physical state: LinkUp Rate: 40 Base lid: 0 LMC: 0 SM lid: 0 Capability mask: 0x04010000 Port GUID: 0xf65214fffe7bcba2 Link layer: Ethernet

4. Utilice la utilidad ibping para hacer ping desde un cliente a un servidor utilizando InfiniBand:

a. En el host que actúa como servidor, inicie ibping en modo servidor:

# ibping -S -C mlx4_1 -P 1

Este comando utiliza los siguientes parámetros:

-S: Activa el modo servidor.

-C InfiniBand_CA_name: Establece el nombre de la CA a utilizar.-P port_number: Establece el número de puerto a utilizar, si el InfiniBand proporciona

CAPÍTULO 6. PRUEBA DE REDES INFINIBAND

21

-P port_number: Establece el número de puerto a utilizar, si el InfiniBand proporcionamúltiples puertos.

b. En el host que actúa como cliente, utilice ibping de la siguiente manera:

# ibping -c 50 -C mlx4_0 -P 1 -L 2

-c number: Envía este número de paquetes al servidor.

-C InfiniBand_CA_name: Establece el nombre de la CA a utilizar.

-P port_number: Establece el número de puerto a utilizar, si el InfiniBand proporcionamúltiples puertos.

-L port_LID: Establece el identificador local (LID) a utilizar.


Para más detalles sobre los parámetros de ibping, consulte la página de manual ibping(8).

6.2. PROBANDO UN IPOIB USANDO LA UTILIDAD PING

Después de configurar IPoIB, utilice la utilidad ping para enviar paquetes ICMP para probar la conexiónIPoIB.

Requisitos previos

Los dos hosts RDMA están conectados en el mismo tejido InfiniBand con puertos RDMA.

Las interfaces IPoIB en ambos hosts están configuradas con direcciones IP dentro de la mismasubred.

Procedimiento

1. Utilice la utilidad ping para enviar paquetes ICMP al adaptador InfiniBand del host remoto:

# ping -c5 192.0.2.1

Este comando envía cinco paquetes ICMP a la dirección IP 192.0.2.1.

6.3. PROBANDO UNA RED RDMA USANDO QPERF DESPUÉS DECONFIGURAR IPOIB

Este procedimiento describe ejemplos de cómo mostrar la configuración del adaptador InfiniBand ymedir el ancho de banda y la latencia entre dos hosts utilizando la utilidad qperf.

Requisitos previos

El paquete qperf está instalado en ambos hosts.

IPoIB está configurado en ambos hosts.

Procedimiento


22

1. Inicie qperf en uno de los hosts sin ninguna opción para actuar como servidor:

# qperf

2. Utilice los siguientes comandos en el cliente. Los comandos utilizan el puerto 1 del adaptadorde canal de host mlx4_0 en el cliente para conectarse a la dirección IP 192.0.2.1 asignada aladaptador InfiniBand en el servidor.

a. Para mostrar la configuración, introduzca:

qperf -v -i mlx4_0:1 192.0.2.1 conf-------------------------conf: loc_node = rdma-dev-01.lab.bos.redhat.com loc_cpu = 12 Cores: Mixed CPUs loc_os = Linux 4.18.0-187.el8.x86_64 loc_qperf = 0.4.11 rem_node = rdma-dev-00.lab.bos.redhat.com rem_cpu = 12 Cores: Mixed CPUs rem_os = Linux 4.18.0-187.el8.x86_64 rem_qperf = 0.4.11-------------------------

b. Para mostrar el ancho de banda bidireccional de Reliable Connection (RC), introduzca:

# qperf -v -i mlx4_0:1 192.0.2.1 rc_bi_bw-------------------------rc_bi_bw: bw = 10.7 GB/sec msg_rate = 163 K/sec loc_id = mlx4_0 rem_id = mlx4_0:1 loc_cpus_used = 65 % cpus rem_cpus_used = 62 % cpus-------------------------

c. Para mostrar el ancho de banda unidireccional de la transmisión RC, introduzca:

# qperf -v -i mlx4_0:1 192.0.2.1 rc_bw-------------------------rc_bw: bw = 6.19 GB/sec msg_rate = 94.4 K/sec loc_id = mlx4_0 rem_id = mlx4_0:1 send_cost = 63.5 ms/GB recv_cost = 63 ms/GB send_cpus_used = 39.5 % cpus recv_cpus_used = 39 % cpus-------------------------


Para más detalles sobre qperf, consulte la página de manual qperf(1).

CAPÍTULO 6. PRUEBA DE REDES INFINIBAND

23


24

Documents

Red Hat Enterprise Linux 8...Red Hat Enterprise Linux 8 Configuración de redes InfiniBand y RDMA Guía de configuración de redes InfiniBand y RDMA en Red Hat Enterprise Linux 8 Enter