1. Gigalight ComunidadInicio
  2. Blogs
  3. Digital

Por qué la mayoría de los sistemas HPC utilizan interconexión InfiniBand

Además de la conocida Ethernet, hay muchas otras categorías de arquitectura de red. Para los escenarios de conexión del lado del servidor, la tecnología InfiniBand (IB) se valora y se utiliza por sus características inherentes. Tiene una posición casi dominante, especialmente en computación de alto rendimiento (HPC), almacenamiento de grandes centros de datos y otros escenarios. Entonces, ¿cuál es la diferencia entre IB y Ethernet? ¿Por qué la mayoría de los sistemas HPC utilizan interconexión IB?

Qué es InfiniBand y dónde se usa

IB es una tecnología de "conmutación de cable" que admite múltiples conexiones concurrentes, y es el estándar de E / S de la plataforma de hardware del servidor de nueva generación. Con el rápido desarrollo del rendimiento de la CPU, el rendimiento del sistema de E / S se ha convertido en un cuello de botella que restringe el rendimiento de los servidores. La arquitectura de bus PCI utilizada en el pasado no se ajusta a la nueva tendencia de la aplicación. Para superar los inconvenientes inherentes de PCI, Intel, Cisco, Compaq, EMC, Fujitsu y otras compañías lanzaron conjuntamente la arquitectura IB, cuyo núcleo es separar el sistema de E / S del servidor host. En la actualidad, solo unas pocas empresas, como Mellanox, Intel, Qlogic, pueden proporcionar productos IB. Mellanox está en la posición de liderazgo. Recientemente, implementaron la primera supercomputadora HDR 200G InfiniBand en la Universidad de Michigan.

Los protocolos básicos de InfiniBand.

Los protocolos básicos de InfiniBand.


La figura de arriba muestra los protocolos básicos del IB. Como podemos ver, los protocolos IB adoptan una estructura jerárquica, que incluye protocolo superior, capa de transporte, capa de red, capa de enlace y capa física. Cada capa es independiente entre sí, y la capa inferior proporciona servicios para la capa superior, que es similar al protocolo TCP / IP. A diferencia de Ethernet, que se usa en la comunicación de red de alto nivel, InfiniBand se usa principalmente en escenarios de comunicación de entrada / salida de bajo nivel. Como se mencionó al principio de este artículo, la arquitectura IB tiene la misión de mejorar el rendimiento de entrada / salida del lado del servidor, incluso si Ethernet alcanza o supera la velocidad de la red IB, IB es insustituible bajo la condición de comunicación de red de bajo nivel. Además, el modo de transmisión y los medios de IB son bastante flexibles. Puede transferirse por medio de una lámina de alambre de cobre de la placa de circuito impreso en el equipo e interconectarse mediante DAC o AOC entre el equipo.

Como Bill Lee, copresidente del Grupo de Trabajo de la Asociación de la Industria InfiniBand, dijo: "El objetivo de InfiniBand es mejorar la comunicación entre las aplicaciones". La tecnología IB incluye no solo chips y hardware, sino también software. Para cumplir con su función, el hardware y el software deben estar totalmente integrados en el sistema operativo, la administración y la capa de aplicación.

Por qué los centros de datos HPC eligen InfiniBand

Addison Snell, CEO de Intersect360 Research, señaló que “InfiniBand ha crecido y ahora es la solución preferida para la interconexión de almacenamiento de alto rendimiento en sistemas HPC. En la actualidad, las aplicaciones de alto rendimiento de datos, como el análisis de datos y el aprendizaje automático, se están expandiendo rápidamente, y la demanda de interconexión de gran ancho de banda y gran ancho de banda también se está expandiendo a un mercado más amplio ".

Obviamente, nuestra dirección principal en el presente y en el futuro es resolver los problemas de la ciencia y el análisis de datos, lo que requiere un ancho de banda muy alto entre los nodos de computación, los sistemas de almacenamiento y análisis en nuestro centro de datos, formando así un entorno de sistema único. Además, la latencia (memoria y latencia de acceso al disco) es otra medida de rendimiento de HPC. Entonces, la razón por la que los centros de datos de HPC eligen utilizar la red de IB es que puede cumplir con los requisitos de alto ancho de banda y baja latencia.

Actualmente, IB es la interconexión preferida entre las infraestructuras de HPC y AI, y la velocidad también está aumentando, desde SDR, DDR, QDR, hasta HDR. La famosa solución InfiniBand de Mellanox conecta la mayoría de las supercomputadoras Top 500, y también comenzarán a planificar la tecnología InfiniBand NDR 400G para admitir futuras plataformas de supercomputación de nivel E y aprendizaje automático. En términos de demora, la tecnología RDMA (Remote Direct Memory Access) nos permite acceder a los datos de forma directa y remota a través de la red, y puede resolver el problema del retraso en el procesamiento de datos del lado del servidor en la transmisión de la red. RDMA transfiere datos directamente al área de almacenamiento de la computadora a través de la red, transfiere datos de un sistema a la memoria del sistema remoto rápidamente, realiza Copia Cero, libera la carga de la CPU en el lado del host y reduce la demora del procesamiento de datos en el host desde cientos de microsegundos a nanosegundos.

Además, IB tiene las ventajas de una pila de protocolos simple, alta eficiencia de procesamiento y administración simple. A diferencia de la topología jerárquica de Ethernet, InfiniBand es una estructura plana, lo que significa que cada nodo tiene una conexión directa con todos los demás nodos. En comparación con el protocolo de red TCP / IP, IB utiliza un mecanismo de control de flujo y basado en la confianza para garantizar la integridad de la conexión, y los paquetes de datos rara vez se pierden. Después de la transmisión de datos, el receptor devuelve una señal para indicar la disponibilidad del espacio de almacenamiento intermedio. Por lo tanto, el protocolo IB elimina el retraso de la retransmisión debido a la pérdida de paquetes de datos originales, lo que mejora el rendimiento del protocolo. La eficiencia y el rendimiento general se mejoran. Además, considerando el problema de la distorsión de la señal en la transmisión de fibra óptica de ultra alta velocidad, IB transmite señales de datos de manera diferente en la fibra óptica, y agrega un filtro en el extremo receptor para filtrar el ruido de la señal, lo que garantiza completamente la integridad de la señal de la red de conexión.

Conclusión

InfiniBand es una estructura de interconexión unificada que puede manejar tanto la E / S de almacenamiento, la E / S de red y la comunicación entre procesos (IPC). Puede interconectar arrays de discos, SAN, LAN, servidores y servidores de clúster, proporcionar un ancho de banda alto y una transmisión de baja latencia en distancias relativamente cortas, y admitir canales de E / S redundantes en redes de Internet únicas o múltiples, de modo que los centros de datos aún pueden operar cuando son locales. se producen fallos. Especialmente en el futuro, cuando el tráfico interno del centro de datos HPC aumente dramáticamente, InfiniBand tendrá un espacio de desarrollo más amplio como una tecnología de conexión de red aplicada entre servidores.

Este es un artículo original escrito por Gigalight. Si se reproduce, indique la fuente: https://www.gigalight.com/community/why-most-hpc-systems-use-infiniband-interconnection/

Contáctenos

Correo electrónico: sunwf@gigalight.com