Qualcomm AI Hub

Qualcomm AI Hub는 Snapdragon® 및 Qualcomm® 플랫폼으로 구동되는 엣지 디바이스에서 AI 모델의 배포를 단순화하고 가속화하기 위해 개발자를 위해 설계된 포괄적인 플랫폼입니다. 이는 AI 모델을 원래 프레임워크에서 디바이스에서 직접 실행되는 고도로 최적화된 하드웨어 가속 애플리케이션으로 전환하는 엔드투엔드 솔루션을 제공하며, 모든 모델, 모든 디바이스, 모든 런타임을 지원합니다.

이 플랫폼은 성능 최적화, 전력 효율성 및 배포 복잡성을 포함한 온디바이스 AI의 주요 과제를 해결하기 위해 구축되었습니다. 방대한 사전 최적화 모델 라이브러리와 강력한 도구 세트에 대한 액세스를 제공함으로써 Qualcomm AI Hub는 개발자가 모바일, 컴퓨팅, 자동차 및 IoT 부문에서 지능적이고 반응이 빠르며 개인화된 사용자 경험을 만들 수 있도록 지원합니다.

Qualcomm AI Hub 사용 방법

Qualcomm AI Hub를 시작하는 과정은 개발자를 위해 간소화되었습니다. 워크플로우는 일반적으로 다음 단계를 포함합니다:

1. 설정 및 설치: 먼저 pip를 사용하여 Qualcomm AI Hub Python 라이브러리를 설치합니다: pip3 install qai-hub. Python 버전 3.9에서 3.11 사이를 사용하는 것이 좋습니다.
2. 인증: Qualcomm ID로 Qualcomm AI Hub 웹사이트에 로그인하여 API 토큰을 생성합니다. 다음 명령을 사용하여 이 토큰으로 로컬 환경을 구성합니다: qai-hub configure --api_token YOUR_API_TOKEN.
3. 모델 선택: Hub 라이브러리에서 제공되는 100개 이상의 사전 최적화된 모델(비전, 음성, 오디오 및 텍스트 포함) 중에서 선택하거나 PyTorch 또는 ONNX 형식의 자체 모델을 가져올 수 있습니다.
4. 컴파일 및 최적화: 모델을 컴파일하기 위해 제출합니다. Hub는 대상 Qualcomm 디바이스 및 런타임(예: TensorFlow Lite, ONNX Runtime 또는 Qualcomm® AI Runtime)에 맞게 모델을 자동으로 변환하고 최적화하여 디바이스의 CPU, GPU 또는 NPU를 활용하여 최대 성능을 달성합니다.
5. 실제 디바이스에서 프로파일링: 컴파일된 모델을 클라우드 호스팅된 실제 디바이스(예: Samsung Galaxy S24)에서 실행하도록 제출합니다. 이를 통해 지연 시간, 메모리 사용량 및 컴퓨팅 유닛 활용도를 포함한 상세한 성능 메트릭을 분석하여 모델이 실제 요구 사항을 충족하는지 확인할 수 있습니다.
6. 추론 실행 및 배포: 자체 데이터로 호스팅된 디바이스에서 추론 작업을 실행하여 모델을 테스트합니다. 검증이 완료되면 최적화된 모델을 다운로드하고 제공된 샘플 애플리케이션 및 SDK를 사용하여 최종 애플리케이션에 번들로 포함하여 온디바이스 배포를 할 수 있습니다.

Qualcomm AI Hub의 핵심 기능

• 광범위한 모델 라이브러리: Llama 3.2, Mistral, MobileNet을 포함하여 즉시 배포할 수 있는 100개 이상의 최첨단 사전 최적화 AI 모델의 큐레이션된 컬렉션에 액세스할 수 있습니다.
• 자체 모델 가져오기(BYOM): 사용자 지정 PyTorch 또는 ONNX 모델을 Qualcomm 하드웨어에 맞게 원활하게 업로드, 변환 및 최적화할 수 있습니다.
• 하드웨어 인식 최적화: Snapdragon 플랫폼의 특정 처리 장치(CPU, GPU, NPU)에서 효율적으로 실행되도록 모델을 자동으로 최적화하여 성능을 극대화하고 전력 소비를 최소화합니다.
• 클라우드 호스팅 디바이스 프로파일링: 하드웨어를 소유할 필요 없이 다양한 실제 Qualcomm 기반 디바이스에서 모델 성능을 테스트하고 검증할 수 있습니다.
• 유연한 런타임 지원: TensorFlow Lite, ONNX Runtime과 같은 인기 있는 런타임과 고성능 Qualcomm® AI Runtime을 사용하여 모델을 배포할 수 있습니다.
• 풍부한 개발자 생태계: Amazon SageMaker, Dataloop, Hugging Face와 같은 선도적인 ML 서비스 및 도구와 통합하여 완전한 엔드투엔드 워크플로우를 제공합니다.

Qualcomm AI Hub의 사용 사례

Qualcomm AI Hub는 다목적이며 광범위한 온디바이스 AI 애플리케이션을 지원합니다:

• 모바일: 실시간 이미지 향상(초해상도), 카메라 효과를 위한 시맨틱 세분화, 개인화된 콘텐츠를 위한 온디바이스 생성 AI와 같은 지능형 모바일 경험을 만듭니다.
• 컴퓨팅(PC): Snapdragon X Elite가 탑재된 PC에서 차세대 AI 애플리케이션을 구동하여 생산성과 창의성을 위한 무한한 가능성을 열어줍니다.
• 자동차: 운전자 지원, 인포테인먼트 및 사용자 개인화를 위한 차량 내 AI로 새로운 모빌리티 시대를 엽니다.
• IoT: 스마트 홈, 산업 자동화 및 차세대 사용자 경험을 위해 다양한 연결된 디바이스에 실시간 AI를 배포합니다.
• 생성 AI: 텍스트 요약, 코드 생성 및 예술 창작과 같은 애플리케이션을 위해 대규모 언어 모델(LLM) 및 이미지 생성 모델을 디바이스에서 직접 실행합니다.

Qualcomm AI Hub의 장점

Qualcomm AI Hub의 주요 장점은 온디바이스 AI 개발 수명 주기를 극적으로 단순화하는 능력에 있습니다. 하드웨어별 최적화의 복잡성을 추상화하여 개발자가 혁신적인 애플리케이션 구축에 집중할 수 있도록 합니다. 프로파일링을 위해 실제 디바이스에 대한 액세스를 제공함으로써 배포 프로세스의 위험을 줄이고 예측 가능한 성능을 보장합니다. 플랫폼의 유연성, 광범위한 모델 라이브러리 및 강력한 최적화 엔진은 Qualcomm 기반 디바이스에서 엣지 AI의 잠재력을 최대한 활용하려는 모든 사람에게 필수적인 도구입니다.

가격 및 플랜

개발자는 무료 Qualcomm ID에 가입하여 Qualcomm AI Hub에 액세스할 수 있습니다. 이를 통해 모델 라이브러리, 최적화 도구 및 클라우드 호스팅 디바이스에서 프로파일링을 위한 무료 등급을 포함한 플랫폼의 핵심 기능에 액세스할 수 있습니다. 이 모델은 강력한 개발자 커뮤니티를 육성하고 Qualcomm 플랫폼에서의 혁신을 장려하기 위해 설계되었습니다. 대규모 사용이나 기업 수준의 요구 사항에 대해서는 Qualcomm에 직접 연락하여 특정 플랜 및 가격 정보를 얻을 수 있습니다.