Broadcom
Broadcom은 포괄적인 반도체 및 인프라 소프트웨어 솔루션 포트폴리오를 제공하는 글로벌 기술 리더입니다. 이 회사의 제품은 세계에서 가장 진보된 …
Broadcom은 포괄적인 반도체 및 인프라 소프트웨어 솔루션 포트폴리오를 제공하는 글로벌 기술 리더입니다. 이 회사의 제품은 세계에서 가장 진보된 AI 데이터 센터와 기업용 프라이빗 AI 클라우드를 구축, 확장 및 보호하는 데 필수적입니다.
반도체에 대하여
AI 반도체는 인공지능 및 머신러닝 연산을 가속화하기 위해 설계된 특수 실리콘 칩입니다. AI 하드웨어의 핵심 구성 요소로서, 이 프로세서들은 신경망에 내재된 대규모 행렬 곱셈 및 벡터 연산을 효율적으로 처리하기 위해 고도로 병렬화된 아키텍처로 설계되었습니다. 주요 가치는 더 빠른 모델 훈련, 더 낮은 지연 시간의 추론, 그리고 대규모 데이터 센터에서부터 전력 제한이 있는 엣지 장치에 이르기까지 복잡한 AI를 배포할 수 있게 하는 데 있습니다. 이러한 전문화 덕분에 AI 작업에서 범용 CPU보다 몇 배나 뛰어난 성능을 발휘합니다.
핵심 기능
- 병렬 아키텍처: 수천 개의 코어를 탑재하여 많은 계산을 동시에 실행하며, 딥러닝 워크로드에 이상적입니다.
- 전용 코어: 텐서 코어 또는 NPU와 같은 전용 하드웨어 유닛을 포함하여 특정 AI 연산을 가속화합니다.
- 고대역폭 메모리(HBM): 적층 메모리를 활용하여 매우 빠른 데이터 액세스를 제공하고 처리 병목 현상을 방지합니다.
- 전력 효율성: 와트당 최대 성능을 제공하도록 최적화되어 데이터 센터 및 엣지 배포 모두에 중요합니다.
- 저정밀도 컴퓨팅 지원: FP16, BFLOAT16, INT8과 같은 데이터 형식을 기본적으로 처리하여 정확도에 미치는 영향을 최소화하면서 처리량을 높입니다.
적용 사례
AI 반도체는 다양한 분야에서 기반 기술로 사용됩니다. 데이터 센터에서는 대규모 언어 모델(LLM) 훈련 및 클라우드 기반 AI 서비스 구동에 사용됩니다. 엣지 컴퓨팅에서는 자율 주행, 스마트 감시, 온디바이스 음성 비서와 같은 실시간 애플리케이션을 가능하게 합니다. 또한 크리에이티브 소프트웨어, 게임, 데이터 과학 애플리케이션에서 AI 기반 기능을 가속화하기 위해 개인용 컴퓨터와 워크스테이션에 점점 더 많이 통합되고 있습니다.
선택 방법
올바른 AI 반도체를 선택하는 것은 특정 애플리케이션에 따라 다릅니다. 대규모 모델 훈련의 경우, 원시 성능(FLOPS 또는 TOPS로 측정)과 크고 높은 대역폭의 메모리를 우선시해야 합니다. 추론의 경우, 지연 시간, 전력 효율성(와트당 성능), 폼 팩터에 중점을 둡니다. CUDA 또는 ROCm과 같은 라이브러리, 드라이버 지원 및 프레임워크 호환성을 포함한 소프트웨어 생태계 또한 개발 및 배포에 있어 중요한 요소입니다.
반도체응용 시나리오
데이터 센터에서 대규모 언어 모델 훈련
AI 연구소 및 대규모 기술 기업들은 GPU나 맞춤형 ASIC과 같은 고성능 AI 반도체 클러스터를 활용하여 LLM과 같은 기초 모델을 훈련합니다. 이 과정은 몇 주 또는 몇 달에 걸쳐 페타바이트 규모의 데이터를 신경망에 입력하는 것을 포함합니다. 이러한 칩의 병렬 처리 능력은 모델 매개변수를 조정하는 데 필요한 수조 번의 계산을 처리하는 데 필수적이며, GPT-4나 Llama와 같은 강력한 모델을 실용적인 시간 내에 생성하는 것을 가능하게 합니다.
자율 주행 차량을 위한 실시간 추론
자동차 제조업체는 전용 신경망 처리 장치(NPU)가 포함된 시스템 온 칩(SoC) 형태의 전력 효율적인 AI 반도체를 차량 제어 시스템에 통합합니다. 이 칩들은 카메라, 레이더, LiDAR와 같은 여러 센서의 데이터를 실시간으로 처리합니다. 최소한의 지연 시간으로 보행자, 다른 차량 및 도로 표지판을 감지하기 위해 복잡한 인식 모델을 실행합니다. 이러한 저지연 온디바이스 처리는 안전한 자율 주행에 필요한 순간적인 결정을 내리는 데 매우 중요합니다.
개인용 컴퓨터에서 생성형 AI 가속화
콘텐츠 제작자, 아티스트, 개발자는 특수 AI 코어(예: NVIDIA의 텐서 코어)가 장착된 소비자용 GPU를 사용하여 생성형 AI 모델을 로컬에서 실행합니다. 이를 통해 클라우드 서비스에 의존하지 않고도 Stable Diffusion으로 이미지를 생성하고, AI 기반 기능으로 비디오를 편집하거나, 로컬 AI 어시스턴트로 코딩할 수 있습니다. PC의 AI 반도체는 처리 시간을 극적으로 단축하여 CPU에서 몇 분이 걸릴 작업을 몇 초 만에 처리함으로써 창의적인 워크플로우와 생산성을 향상시킵니다.
AI 기반 의료 영상 분석
병원 및 진단 연구소는 강력한 AI 가속기 카드가 장착된 워크스테이션을 사용하여 엑스레이, CT 스캔, MRI와 같은 의료 영상을 분석합니다. 방사선 전문의는 이 특수 하드웨어에서 AI 모델을 실행하여 종양이나 골절과 같은 잠재적 이상을 자동으로 감지하며, 이는 제2의 의견으로 활용될 수 있습니다. 이러한 반도체의 높은 처리량은 크고 고해상도인 이미지의 신속한 분석을 가능하게 하여 진단 시간을 줄이고 중요한 상태를 식별하는 정확도를 향상시키는 데 도움이 됩니다.
스마트 시티 감시 시스템 구동
지방 자치 단체는 AI 추론 칩이 장착된 엣지 서버를 배포하여 수천 개의 공공 카메라에서 오는 비디오 피드를 처리합니다. 모든 원시 비디오를 중앙 데이터 센터로 스트리밍하는 대신, 이 엣지 장치들은 영상을 로컬에서 분석합니다. AI 반도체는 실시간 교통 흐름 분석, 번호판 인식 또는 공공 안전 사고 감지를 위한 모델을 실행합니다. 이러한 분산 접근 방식은 대역폭 요구 사항을 줄이고, 클라우드 컴퓨팅 비용을 낮추며, 로컬 수준에서 즉각적인 경고와 조치를 가능하게 하여 응답 시간을 개선합니다.
저지연 자연어 처리 API
클라우드 서비스 제공업체는 전용 AI 추론 가속기 랙을 사용하여 실시간 번역, 감성 분석, 챗봇과 같은 애플리케이션을 지원하는 자연어 처리(NLP) API를 구동합니다. 사용자 요청이 API에 도달하면 이러한 특수 칩 중 하나로 라우팅됩니다. 반도체의 아키텍처는 NLP 모델을 효율적으로 실행하도록 최적화되어 있어 요청을 처리하고 밀리초 단위로 응답을 반환할 수 있습니다. 이는 수천 명의 동시 사용자에게 원활하고 반응이 빠른 사용자 경험을 보장합니다.