메타, 엔비디아 H100 GPU 대규모 축적

메타의 엔비디아 H100 GPU 비축

메타는 최근 오픈 소스 대규모 언어 모델인 Llama 3.1의 출시를 발표했다. 이 모델은 일부 테스트에서 OpenAI의 ChatGPT 4를 능가한다고 한다. 연구 논문에 따르면 모델의 405b 매개변수 버전은 최대 16,000개의 엔비디아의 인기 있는 H100 GPU를 사용하여 훈련되었다.

엔비디아 H100은 현재 AI 붐을 주도하는 가장 비싸고 인기 있는 기술 중 하나이다. 메타는 AI 훈련 인프라에 35만 개의 H100 GPU를 보유하고 있는 것으로 추정되며, 이는 10억 달러 이상으로 평가된다.

AI 모델 훈련 비용

H100은 2만 달러에서 4만 달러로 추정되며, 메타는 모델 훈련에 최대 6억 4천만 달러 상당의 하드웨어를 사용했다. 이는 AI 연구 및 개발에 대한 상당한 투자이다. 다른 회사들도 AI 훈련을 위해 이러한 강력한 칩을 확보하려고 한다.

엔비디아 H100 GPU를 비축하는 회사들

벤처 캐피탈 회사인 안드레센 호로위츠는 2만 개 이상의 고가의 GPU를 비축하고 있으며, 이를 AI 스타트업에 임대하고 있다. 테슬라도 H100을 수집하고 있으며, 일론 머스크는 4월 수익률 콜에서 테슬라가 연말까지 3만 5천 개에서 8만 5천 개의 H100을 보유하고자 한다고 말했다.

머스크는 최근 테슬라 주주들에 의해 H100을 자동차 제조업체의 AI 훈련 인프라에서 xAI로 돌렸다는 혐의로 소송을 당했다. H100은 수요가 너무 많아 중국으로 밀반입되는 경우도 있다.

산업 상황과 역사

엔비디아 H100 GPU에 대한 수요는 AI 산업의 급속한 성장으로 인해 증가하고 있다. 회사들은 AI 모델을 개발하고 훈련시키기 위해 경쟁하고 있으며, H100은 이 작업을 위해 사용할 수 있는 가장 강력한 도구 중 하나이다.

H100 GPU의 기술적 특징

H100 GPU는 복잡한 기술로, AI 연구에 적합한 다양한 기술적 특징을 가지고 있다. GPU는 AI 훈련에 필요한 대량의 데이터를 처리하도록 설계되었으며, 효율적이고 효과적인 여러 기능을 갖추고 있다.

규제 영향

H100 GPU의 규제 영향도 크며, 미국 정부는 이 기술에 대한 수출 통제를 부과하고 있다. 수출 통제는 H100 GPU가 군사 또는 기타 민감한 목적으로 사용되지 않도록 하기 위한 것이다.

향후 전망

엔비디아 H100 GPU에 대한 수요는 향후 몇 년 동안 계속 증가할 것으로 예상된다. 메타, 테슬라, 안드레센 호로위츠와 같은 회사들은 이 기술에 계속 투자할 것이며, 새로운 업체들이 시장에 진입할 것이다.