1. Gigalight CommunautéAccueil
  2. Articles
  3. Technologies

Pourquoi la plupart des systèmes HPC utilisent l'interconnexion InfiniBand

Outre Ethernet, il existe de nombreuses autres catégories d’architecture réseau. Pour les scénarios de connexion côté serveur, la technologie InfiniBand (IB) est appréciée et utilisée pour ses caractéristiques inhérentes. Il occupe une position quasi dominante, en particulier dans les domaines de l'informatique haute performance (HPC), du stockage dans de grands centres de données et dans d'autres scénarios. Alors, quelle est la différence entre IB et Ethernet? Pourquoi la plupart des systèmes HPC utilisent-ils l'interconnexion IB?

Qu'est-ce qu'InfiniBand et où est-il utilisé?

IB est une technologie de «commutation par câble» prenant en charge plusieurs connexions simultanées. Il s'agit du standard d'E / S de la plate-forme matérielle de serveur de nouvelle génération. Avec le développement rapide des performances du processeur, les performances du système d'E / S sont devenues un goulot d'étranglement limitant les performances des serveurs. L'architecture de bus PCI utilisée par le passé ne correspond pas à la nouvelle tendance de l'application. Pour surmonter les inconvénients inhérents au PCI, Intel, Cisco, Compaq, EMC, Fujitsu et d’autres sociétés ont conjointement lancé l’architecture IB, dont le cœur est de séparer le système d’E / S de l’hôte serveur. À l'heure actuelle, seules quelques sociétés, telles que Mellanox, Intel et Qlogic, peuvent fournir des produits IB. Mellanox est en position de leader. Récemment, ils ont déployé le premier supercalculateur HDR 200G InfiniBand à l'Université du Michigan.

Les protocoles de base d'InfiniBand

Les protocoles de base d'InfiniBand


La figure ci-dessus montre les protocoles de base de l'IB. Comme on peut le constater, les protocoles IB adoptent une structure hiérarchique, comprenant un protocole supérieur, une couche de transport, une couche réseau, une couche liaison et une couche physique. Chaque couche est indépendante l'une de l'autre et la couche inférieure fournit des services à la couche supérieure, ce qui est similaire au protocole TCP / IP. Contrairement à Ethernet, qui est utilisé dans les communications réseau de haut niveau, InfiniBand est principalement utilisé dans les scénarios de communication entrée / sortie de bas niveau. Comme indiqué au début de cet article, l'architecture IB a pour mission d'améliorer les performances d'entrée / sortie côté serveur, même si Ethernet atteint ou dépasse la vitesse du réseau IB, IB est irremplaçable dans les conditions d'une communication réseau de bas niveau. En outre, le mode de transmission et les supports d’IB sont assez flexibles. Il peut être transféré par une feuille de fil de cuivre de la carte de circuit imprimé dans l’équipement et interconnecté par un CNA ou un AOC entre l’équipement.

Bill Lee, coprésident du groupe de travail InfiniBand Industry Association, a déclaré: «L’objectif d’InfiniBand est d’améliorer la communication entre les applications.» La technologie IB inclut non seulement des puces et du matériel, mais également des logiciels. Pour jouer leur rôle, le matériel et les logiciels doivent être entièrement intégrés au système d'exploitation, à la gestion et aux couches applicatives.

Pourquoi les centres de données HPC choisissent InfiniBand

Addison Snell, PDG d'Intersect360 Research, a déclaré: «InfiniBand a grandi et constitue désormais la solution privilégiée pour l'interconnexion de stockage hautes performances dans les systèmes HPC. À l'heure actuelle, les applications de débit de données élevé, telles que l'analyse de données et l'apprentissage automatique, se développent rapidement et la demande d'interconnexion à bande passante élevée et à faible délai s'étend également à un marché plus vaste. "

Notre objectif actuel et futur est évidemment de résoudre les problèmes de la science et de l’analyse des données, qui nécessitent une très grande largeur de bande entre les nœuds de calcul, les systèmes de stockage et d’analyse de notre centre de données, formant ainsi un environnement système unique. De plus, la latence (latence d'accès à la mémoire et au disque) est une autre mesure de la performance du calcul haute performance. Les centres de données HPC ont donc choisi le réseau IB pour répondre aux exigences de bande passante élevée et de faible temps de latence.

IB est actuellement l’interconnexion privilégiée entre les infrastructures HPC et AI, et la vitesse augmente également, de SDR, DDR, QDR à HDR. La célèbre solution Mellanox InfiniBand connecte la plupart des supercalculateurs Top 500 et commencera également à planifier la technologie NDR 400G InfiniBand pour prendre en charge les futures plates-formes de superinformatique et d’apprentissage automatique de niveau E. En termes de délai, la technologie RDMA (accès direct à la mémoire à distance) nous permet d’accéder aux données directement et à distance sur l’ensemble du réseau et peut résoudre le problème du retard de traitement des données côté serveur dans la transmission réseau. RDMA transfère les données directement vers la zone de stockage de l'ordinateur via le réseau, déplace les données d'un système vers la mémoire système distante, réalise la copie zéro, libère la charge du processeur côté hôte et réduit le délai de traitement des données dans l'hôte à partir de centaines de microsecondes en nanosecondes.

En outre, IB présente les avantages suivants: pile de protocoles simple, efficacité de traitement élevée et gestion simple. Contrairement à la topologie hiérarchique d'Ethernet, InfiniBand est une structure plate, ce qui signifie que chaque nœud est directement connecté à tous les autres nœuds. Par rapport au protocole de réseau TCP / IP, IB utilise un mécanisme de contrôle de flux basé sur la confiance pour assurer l’intégrité de la connexion. Les paquets de données sont rarement perdus. Après la transmission des données, le récepteur renvoie un signal indiquant la disponibilité de la mémoire tampon. Par conséquent, le protocole IB élimine le délai de retransmission dû à la perte des paquets de données d'origine, améliorant ainsi les performances du protocole. L'efficacité et la performance globale sont améliorées. En outre, compte tenu du problème de distorsion du signal dans la transmission à très haute vitesse par fibre optique, IB transmet différemment les signaux de données dans la fibre optique et ajoute un filtre à la réception pour filtrer le bruit du signal, garantissant ainsi intégralement l’intégrité du signal. du réseau de connexion.

Conclusion

InfiniBand est une structure d'interconnexion unifiée pouvant gérer à la fois les E / S de stockage, les E / S réseau et les communications interprocessus (IPC). Il peut interconnecter des baies de disques, des réseaux de stockage (SAN), des réseaux locaux (LAN), des serveurs et des serveurs de cluster, fournir une transmission à bande passante élevée et une latence réduite sur des distances relativement courtes et prendre en charge des canaux d'E / S redondants dans un ou plusieurs réseaux Internet, de sorte que les centres de données puissent toujours les échecs se produisent. À l'avenir, en particulier, lorsque le trafic interne du centre de données HPC augmentera considérablement, InfiniBand disposera d'un plus grand espace de développement en tant que technologie de connexion réseau appliquée entre serveurs.

Ceci est un article original écrit par Gigalight. Si reproduit, veuillez indiquer la source: https://www.gigalight.com/community/why-most-hpc-systems-use-infiniband-interconnection/

Contactez-Nous

Courriel: sunwf@gigalight.com