메타, AI 규모 이더넷을 위한 새로운 RDMA 전송 프로토콜 'MetaRoCE' 공개

메타는 대규모 AI 워크로드를 위해 특별히 설계된 새로운 RDMA(Remote Direct Memory Access) 전송 프로토콜인 MetaRoCE를 공개했다. 이 프로토콜은 기존 이더넷 인프라에서 수십만 개의 GPU 클러스터에 걸쳐 분산 AI 훈련 및 추론을 지원하도록 고안되었다. 메타는 MetaRoCE의 사양, 참조 소프트웨어 구현 및 적합성 테스트 스위트를 OCP(Open Compute Project)를 통해 공개하여 광범위한 산업계가 이를 채택하고 구현하며 발전시킬 수 있도록 한다.

MetaRoCE는 기존 RDMA 프로토콜인 RoCEv2가 네트워크에 모든 프레임을 순서대로 전달하도록 요구하고 PFC(Priority Flow Control)에 의존하는 것과 달리, 엔드포인트(NIC)에 지능을 배치하는 접근 방식을 취한다. 이는 네트워크를 다수의 세분화된 논리적 경로로 분해하고, 각 경로에 실시간 RTT(Round Trip Time), ECN(Explicit Congestion Notification) 상태 및 활용도와 같은 원격 측정 데이터를 제공한다. 이러한 설계는 네트워크가 확장됨에 따라 높은 처리량, 낮은 꼬리 지연 시간 및 운영 단순성을 제공하는 것을 목표로 한다.

MetaRoCE의 핵심 기능 중 하나는 '네이티브 순서 없는 전달(Native Out-of-Order Delivery)'이다. 이 프로토콜은 패킷이 여러 경로에 분산되어 순서 없이 도착하는 것을 정상적인 경우로 처리한다. 각 패킷은 자체 목적지 정보를 포함하므로, 데이터는 도착하는 즉시 재정렬 버퍼나 HOL(Head-of-Line) 블로킹 없이 최종 메모리 위치에 직접 기록된다. 또한, '네이티브 다중 경로(Native Multipathing)'를 통해 각 연결은 여러 경로를 패킷 단위로 활용하며, 각 경로는 고유한 UDP 소스 포트를 ECMP(Equal-Cost Multi-Path) 엔트로피로 사용한다. NIC는 언제든지 경로를 변경하여 트래픽을 재분배할 수 있으며, 각 경로가 자체 윈도우와 RTT 추정치를 유지하여 혼잡과 장애를 구분하고 명시적으로 부하를 재분배한다.

MetaRoCE는 이더넷 패브릭을 손실이 발생할 수 있는 것으로 간주하고 PFC나 일시 정지 프레임을 요구하지 않는 '손실 허용(Loss Tolerance)' 설계를 특징으로 한다. 각 경로가 자체 순서 지정 시퀀스를 유지하므로, 256비트 선택적 승인 비트벡터의 간격은 재정렬이 아닌 손실의 증거로 간주된다. 이는 누락된 패킷을 손실이 발생한 경로에서 즉시 재전송하도록 트리거한다. '양방향 혼잡 제어(Congestion Control From Both Sides)'는 ECN 기반의 송신자 주도 AIMD(Additive Increase Multiplicative Decrease) 방식과 수신자 주도 공정 분배 속도 힌트를 결합한다. 혼잡 표시는 해당 경로의 속도를 줄이고 다음 패킷을 혼잡하지 않은 경로로 유도하며, 수신자는 각 승인에서 해당 송신자에게 할당된 수신 대역폭의 점유율을 반환하여 송신자가 적절한 속도에 직접 접근하도록 돕는다.

이 프로토콜은 '토폴로지 독립성(Topology Independence)'을 제공하여 패브릭에 ECN 마킹과 ECMP라는 두 가지 기본 기능만 요구한다. 패킷 트리밍, 인네트워크 텔레메트리, 크레딧 기반 흐름 제어 또는 스위치 측 분산과 같은 고급 기능을 필요로 하지 않으며, 이러한 기능이 제공될 때도 작동한다. 따라서 팻트리(fat-tree), 다중 플레인(multiplane), 딥 버퍼(deep-buffer), 얕은 버퍼(shallow-buffer) 패브릭 등 다양한 환경에서 동일한 전송 프로토콜이 실행될 수 있다. 또한, '통합 연결(Unified Connections)' 개념을 도입하여 단일 연결이 여러 독립적인 순서 지정 스트림(커뮤니케이터 또는 집합체당 하나)과 여러 하위 경로를 하나의 혼잡 컨트롤러 아래에서 처리한다. 이는 워크로드 병렬성에 따라 연결 상태가 증가하는 것을 방지한다.

메타는 AMD와 협력하여 Pensando 프로그래머블 NIC에 MetaRoCE를 구현하고, 64노드 AMD GPU 클러스터에서 RCCL 집합체 작업을 통해 RoCEv2와 직접 비교 테스트를 진행했다. 테스트 결과, MetaRoCE는 RoCEv2보다 일관되게 높은 처리량과 낮은 흐름 완료 시간을 제공했다. 특히, 1% 패킷 손실 조건에서 약 86%의 처리량을 유지했으며, 10%의 극심한 손실률에서도 유용한 대역폭을 제공하며 점진적으로 수렴하는 모습을 보였다. 4플레인 및 8플레인 토폴로지에서 최대 4,000개의 동시 연결을 사용한 다중 플레인 검증에서는 처리량이 플레인 수에 비례하여 선형적으로 확장됨을 확인했다. 시뮬레이션된 플레인 장애 중에는 애플리케이션이나 운영자의 개입 없이 트래픽이 자율적으로 재분배되는 복구 능력을 입증했다.

MetaRoCE는 기존 RDMA Verbs API 및 소프트웨어 스택과 수정 없이 작동하며, 다중 플레인 지원과 같은 향상된 기능은 확장 API를 통해 지원된다. 메타는 OCP를 통해 전체 프로토콜 사양을 기여하고 있으며, AMD Pensando 하드웨어에서 검증되었고 다른 공급업체에서도 추가 구현이 진행 중이다. 또한, 하드웨어 공급업체가 구현이 프로토콜 사양과 일치하는지 확인할 수 있는 적합성 스위트를 개발했다. `libsoftmetaroce` 라이브러리는 특수 하드웨어 없이 표준 UDP 소켓을 통해 일반 리눅스에서 실행되는 완전한 기능의 전송 스택을 제공하며, 실리콘 개발을 위한 권위 있는 동작 모델이자 통합 적합성 프레임워크의 기반 역할을 한다.

메타는 2026년 OCP 글로벌 서밋에서 MetaRoCE 사양, DPDK에 최적화된 소프트웨어 참조 구현 및 생산 적합성 프레임워크를 공개할 예정이다. 향후 과제로는 랙 내에서 나노초 단위의 짧은 메모리 작업에 대한 빠른 신호 경로 최적화(스케일업), 수천 킬로미터 떨어진 건물 간에 단일 작업을 확장할 때의 장거리 링크 공유 문제(스케일 어크로스), 그리고 분산 스토리지 및 Kv-캐시 사용 사례에서 다양한 네트워크 속도와 요청 크기에 따라 수신자 주도 속도 힌트의 정확성을 유지하는 것 등이 있다. 메타는 AI 인프라를 위한 이더넷의 미래를 구축하기 위해 NIC, 스위치 또는 AI 인프라를 구축하는 모든 기업의 광범위한 산업 협력을 장려한다.