1. Gigalight 커뮤니티
  2. 블로그
  3. 기술

대부분의 HPC 시스템에서 InfiniBand 상호 연결을 사용해야하는 이유

잘 알려진 이더넷 외에도 네트워크 아키텍처의 다른 범주가 많이 있습니다. 서버 측 연결 시나리오의 경우 InfiniBand (IB) 기술은 가치가 있으며 고유 한 특성으로 사용됩니다. 특히 HPC (고성능 컴퓨팅), 대규모 데이터 센터 스토리지 및 기타 시나리오에서 거의 우세한 위치에 있습니다. IB와 이더넷의 차이점은 무엇입니까? 왜 대부분의 HPC 시스템이 IB 상호 연결을 사용합니까?

InfiniBand의 용도와 사용 장소

IB는 여러 개의 동시 연결을 지원하는 "케이블 스위칭"기술이며 차세대 서버 하드웨어 플랫폼의 I / O 표준입니다. CPU 성능의 급속한 발전과 함께, I / O 시스템의 성능은 서버의 성능을 제한하는 병목 현상이되었습니다. 과거에 사용 된 PCI 버스 아키텍처는 새로운 애플리케이션 경향에 부합하지 않습니다. PCI의 고유 한 단점을 극복하기 위해 Intel, Cisco, Compaq, EMC, Fujitsu 및 다른 회사들이 공동으로 IB 아키텍처를 시작했으며, 그 중 핵심은 I / O 시스템을 서버 호스트와 분리하는 것입니다. 현재 Mellanox, Intel, Qlogic과 같은 일부 회사 만이 IB 제품을 제공 할 수 있습니다. 멜라 녹스가 선두 자리에 있습니다. 최근에 그들은 미시간 대학에서 최초의 HDR 200G InfiniBand 슈퍼 컴퓨터를 배포했습니다.

InfiniBand의 기본 프로토콜

InfiniBand의 기본 프로토콜


위의 그림은 IB의 기본 프로토콜을 보여줍니다. 보시다시피, IB 프로토콜은 상위 프로토콜, 전송 레이어, 네트워크 레이어, 링크 레이어 및 물리 레이어를 포함한 계층 적 구조를 채택합니다. 각 계층은 서로 독립적이며, 하위 계층은 TCP / IP 프로토콜과 비슷한 상위 계층에 대한 서비스를 제공합니다. 상위 네트워크 통신에 사용되는 이더넷과 달리 InfiniBand는 주로 낮은 수준의 입 / 출력 통신 시나리오에 사용됩니다. 이 기사의 시작 부분에서 언급했듯이, IB 아키텍처는 이더넷이 IB 네트워크의 속도를 달성하거나 초과하더라도 서버 측 입 / 출력 성능을 향상시키는 임무를 갖고 있으며, IB는 저레벨 네트워크 통신 상태로 대체 할 수 없습니다. 또한 IB의 전송 모드와 미디어는 매우 유연합니다. 장비의 인쇄 회로 기판의 구리 와이어 호일로 전송하고 장비간에 DAC 또는 AOC로 상호 연결될 수 있습니다.

인피니 밴드 산업 협회 워킹 그룹 (InfiniBand Industry Association Working Group)의 빌 리 (Bill Lee) 공동 대표는 "인피니 밴드 (InfiniBand)의 목표는 애플리케이션 간의 커뮤니케이션을 개선하는 것이다."IB 기술에는 칩과 하드웨어뿐만 아니라 소프트웨어도 포함된다. 정당한 역할을 수행하려면 하드웨어와 소프트웨어를 운영 체제, 관리 및 응용 프로그램 계층에 완전히 통합해야합니다.

HPC 데이터 센터가 InfiniBand를 선택해야하는 이유

Intersect360 Research의 CEO 인 Addison Snell은 "InfiniBand가 성장했으며 현재 HPC 시스템에서 고성능 스토리지 상호 연결을 위해 선호되는 솔루션입니다. 현재 데이터 분석 및 기계 학습과 같은 높은 데이터 처리량의 적용이 급속하게 확대되고 있으며 고 대역폭 및 저 지연 상호 연결에 대한 요구가 더 넓은 시장으로 확대되고 있습니다. "

분명히 현재와 미래의 우리의 주된 방향은 데이터 센터의 컴퓨팅 노드, 스토리지 및 분석 시스템 사이에 매우 높은 대역폭을 필요로하는 과학 및 데이터 분석의 문제를 해결하여 단일 시스템 환경을 형성하는 것입니다. 또한 대기 시간 (메모리 및 디스크 액세스 대기 시간)은 HPC의 또 다른 성능 척도입니다. 따라서 HPC 데이터 센터가 IB 네트워크를 사용하는 이유는 높은 대역폭과 낮은 대기 시간의 요구 사항을 충족 할 수 있기 때문입니다.

IB는 현재 HPC와 AI 인프라 간의 기본 연결이며 SDR, DDR, QDR에서 HDR로 속도가 증가하고 있습니다. 유명한 Mellanox InfiniBand 솔루션은 대부분의 Top 500 슈퍼 컴퓨터를 연결하며 미래의 E- 레벨 수퍼 컴퓨팅 및 기계 학습 플랫폼을 지원하기 위해 NDR 400G InfiniBand 기술을 계획하기 시작합니다. 지연 측면에서 RDMA (원격 직접 메모리 액세스) 기술을 통해 우리는 네트워크를 통해 직접 원격으로 데이터에 액세스 할 수 있으며 네트워크 전송에서 서버 측 데이터 처리 지연 문제를 해결할 수 있습니다. RDMA는 네트워크를 통해 컴퓨터의 저장 영역에 직접 데이터를 전송하고, 한 시스템에서 원격 시스템 메모리로 데이터를 신속하게 이동하고, Zero Copy를 실현하고, 호스트 측의 CPU 부하를 제거하며, 호스트의 데이터 처리 지연을 수백 마이크로 초 ~ 나노초.

또한 IB는 단순한 프로토콜 스택, 높은 처리 효율성 및 단순한 관리의 장점을 가지고 있습니다. 이더넷의 계층 적 토폴로지와 달리 InfiniBand는 평면 구조이므로 각 노드는 다른 모든 노드에 직접 연결됩니다. IB는 TCP / IP 네트워크 프로토콜과 비교하여 연결의 무결성을 보장하기 위해 신뢰 기반 및 흐름 제어 메커니즘을 사용하며 데이터 패킷은 거의 손실되지 않습니다. 데이터 전송 후에, 수신기는 버퍼 공간의 이용 가능성을 나타내는 신호를 리턴한다. 따라서 IB 프로토콜은 원래 데이터 패킷의 손실로 인한 재전송 지연을 제거함으로써 프로토콜의 성능을 향상시킵니다. 효율성과 전반적인 성능이 개선되었습니다. 또한 초고속 광섬유 전송의 신호 왜곡 문제를 고려하여 IB는 광섬유 내에서 데이터 신호를 다르게 전송하고 수신단에 필터를 추가하여 신호 잡음을 필터링함으로써 신호 무결성을 완벽하게 보장합니다 연결 네트워크의

결론

InfiniBand는 스토리지 I / O, 네트워크 I / O 및 프로세스 간 통신 (IPC)을 모두 처리 할 수있는 통합 된 상호 연결 구조입니다. 디스크 어레이, SAN, LAN, 서버 및 클러스터 서버를 상호 연결하고 상대적으로 짧은 거리에서 높은 대역폭과 낮은 지연 시간의 전송을 제공하며 단일 또는 다중 인터넷 네트워크에서 중복 I / O 채널을 지원하므로 데이터 센터가 로컬 실패가 발생합니다. 특히 HPC 데이터 센터의 내부 트래픽이 급격히 증가하면 InfiniBand는 서버간에 적용되는 네트워크 연결 기술로서 더 넓은 개발 공간을 갖게됩니다.

이것은 쓴 원본 기사입니다 Gigalight. 재현 된 경우 출처를 기재하십시오 : https://www.gigalight.com/community/whymost-hpc-systems-use-infiniband-interconnection/

문의하기

이메일 : sunwf@gigalight.com