Captum

라틴어로 '이해'를 의미하는 Captum은 PyTorch를 기반으로 구축된 확장 가능한 오픈 소스 모델 해석 가능성 라이브러리입니다. AI 모델이 점점 더 복잡해지는 시대에 모델 결정의 '이유'를 이해하는 것이 중요합니다. Captum은 연구자와 개발자에게 모델이 특정 결과에 도달하는 방식을 분석하고 이해할 수 있는 강력한 도구를 제공하여 이러한 요구를 해결합니다. 모델의 예측을 입력 기능에 귀속시켜 이러한 '블랙박스' 모델의 미스터리를 풀고 AI를 더 투명하고 신뢰할 수 있게 만듭니다.

PyTorch 팀이 개발하고 유지 관리하는 Captum은 머신러닝 연구원, 모델 개발자, 애플리케이션 엔지니어를 포함한 광범위한 사용자를 대상으로 합니다. 연구원은 이를 사용하여 새로운 해석 가능성 알고리즘을 쉽게 구현하고 벤치마킹할 수 있으며, 개발자는 이를 활용하여 모델을 디버깅하고 편향을 식별하며 성능을 향상시킬 수 있습니다. 애플리케이션 엔지니어는 그 통찰력을 사용하여 최종 사용자에게 제품 추천이나 콘텐츠 필터링과 같은 모델 기반 결과에 대한 의미 있는 설명을 제공할 수 있습니다.

Captum 사용 방법

PyTorch에 익숙한 사람이라면 누구나 Captum을 쉽게 시작할 수 있습니다. 과정은 일반적으로 다음 단계를 포함합니다:

1. 설치: 패키지 관리자를 사용하여 Python 환경에 라이브러리를 설치합니다. pip install captum을 실행하거나 권장되는 conda 명령어인 conda install captum -c pytorch를 실행하면 됩니다.
2. 모델 및 데이터 준비: 사전 훈련된 PyTorch 모델을 로드하고 model.eval()을 호출하여 평가를 준비합니다. 또한 입력 텐서와 기준선 텐서를 정의해야 합니다. 기준선은 중립적이거나 정보가 없는 입력(예: 0으로 채워진 텐서 또는 무작위 노이즈 텐서)을 나타내며, 통합 그래디언트와 같은 귀인 알고리즘의 참조점으로 사용됩니다.
3. 알고리즘 선택 및 인스턴스화: Captum은 다양한 귀인 알고리즘을 제공합니다. 필요에 맞는 알고리즘(예: 그래디언트 기반 귀인을 위한 IntegratedGradients)을 선택하고 모델로 인스턴스화합니다: ig = IntegratedGradients(model).
4. 귀인 계산: 선택한 알고리즘 인스턴스의 .attribute() 메서드를 사용합니다. 입력 텐서, 기준선, 그리고 설명하려는 출력을 지정하기 위한 대상 클래스 인덱스를 전달합니다. 이 메서드는 입력과 동일한 모양의 귀인 점수를 반환합니다.
5. 분석 및 시각화: 반환된 귀인 점수는 각 입력 기능의 중요도를 나타냅니다. 높은 양수 또는 음수 점수는 예측에 강한 영향을 미친 기능을 의미합니다. 시각적 데이터의 경우 이 점수를 사용하여 히트맵(현저성 맵)을 생성할 수 있습니다. Captum에는 이러한 귀인을 대화식으로 탐색할 수 있는 강력한 시각화 도구인 Captum Insights도 포함되어 있습니다.

Captum의 핵심 기능

• 최첨단 알고리즘: 통합 그래디언트(Integrated Gradients), 그래디언트SHAP(GradientSHAP), DeepLIFT, 현저성(Saliency), 폐색(Occlusion), 특징 제거(Feature Ablation), LIME 등 포괄적인 귀인 알고리즘 제품군을 제공합니다.
• 다중 모드 지원: 비전(이미지), 텍스트(NLP), 그리고 다양한 데이터 소스를 결합한 복잡한 다중 모드 모델(예: 시각적 질문 응답) 등 다양한 데이터 유형에 걸쳐 모델 해석을 기본적으로 지원합니다.
• 원활한 PyTorch 통합: 핵심 PyTorch 라이브러리로서 모든 torch.nn.Module과 완벽하게 작동하며 기존 프로젝트에 최소한의 코드 변경만 필요합니다.
• 레이어 및 뉴런 귀인: 입력 기능을 넘어 Layer Conductance와 같은 방법을 사용하여 특정 은닉층 및 개별 뉴런에 예측을 귀속시켜 더 깊은 모델 통찰력을 제공합니다.
• 확장성: 오픈 소스, 일반 프레임워크로 설계되어 연구원이 자신만의 새로운 해석 가능성 알고리즘을 쉽게 추가, 구현 및 벤치마킹할 수 있습니다.
• Captum Insights: 사용자가 특정 예제에 대한 귀인을 이해하고, 다른 모델이나 방법의 귀인을 비교하며, 광범위한 시각화 코드를 작성하지 않고도 모델 동작을 디버깅할 수 있도록 돕는 대화형 시각화 위젯입니다.
• 고급 분석 도구: 개념 기반 설명(TCAV), 영향력 있는 훈련 예제 식별(TracInCP), 모델 견고성 평가 등 특징 귀인 이상의 기능을 포함합니다.

Captum의 사용 사례

Captum의 다재다능함은 수많은 분야에 적용될 수 있습니다:

• 자연어 처리(NLP): 감성 분석 모델의 경우, Captum은 어떤 단어나 구(예: "훌륭하다", "끔찍하다")가 긍정 또는 부정 분류에 가장 큰 영향을 미쳤는지 강조할 수 있습니다. BERT와 같은 질의응답 모델에서는 답을 찾는 데 컨텍스트의 어느 부분이 가장 중요했는지 보여줄 수 있습니다.
• 컴퓨터 비전: 이미지 분류기가 '얼룩말'을 식별할 때, Captum은 모델이 배경이 아닌 줄무늬에 초점을 맞췄음을 보여주는 히트맵을 생성하여 올바른 동작을 확인하거나 허위 상관 관계를 밝혀낼 수 있습니다.
• 모델 디버깅: 모델이 예기치 않은 예측을 할 경우, 개발자는 Captum을 사용하여 어떤 기능이 오류를 일으켰는지 확인할 수 있습니다. 이는 데이터 유출이나 훈련 세트에서 학습된 편향과 같은 문제를 식별하는 데 도움이 될 수 있습니다.
• 추천 시스템: DLRM(딥러닝 추천 모델)이 특정 사용자 이력 기능이나 아이템 속성에 예측을 귀속시켜 특정 아이템을 추천한 이유를 이해합니다.
• 의료 및 과학: 의료 영상에서 연구원이 스캔의 어느 부분이 모델을 진단으로 이끌었는지 이해하는 데 도움을 주어 신뢰를 높이고 과학적 발견을 돕습니다.

Captum의 장점

Captum은 몇 가지 주요 장점 덕분에 모델 해석 가능성을 위한 선도적인 도구로 돋보입니다:

• 공식 PyTorch 라이브러리: 공식 PyTorch 생태계의 일부로서 장기적인 지원, 안정성 및 원활한 통합을 보장합니다.
• 포괄적이고 다재다능함: 광범위한 알고리즘이 해석 가능성에 대한 다양한 이론적 접근 방식을 다루므로 대부분의 XAI 요구에 대한 원스톱 솔루션입니다.
• 사용 용이성: 기본 방법의 복잡성에도 불구하고 Captum은 모든 알고리즘에 걸쳐 통일되고 간단한 API(.attribute() 메서드)를 제공합니다.
• 오픈 소스 및 커뮤니티 주도: 이 라이브러리는 무료로 사용할 수 있으며 전 세계 연구원 및 개발자 커뮤니티의 기여를 통해 해석 가능성 연구의 최전선에 서 있습니다.
• 우수한 문서: 이 프로젝트는 초보자와 고급 사용자 모두를 위한 광범위한 튜토리얼, 상세한 API 문서 및 실제 예제를 제공합니다.

가격 및 플랜

Captum은 BSD 3-Clause 라이선스에 따라 배포되는 완전 무료 오픈 소스 라이브러리입니다. 가격 플랜, 구독 또는 숨겨진 비용이 없습니다. 학술 연구 및 상업용 애플리케이션에서 자유롭게 사용할 수 있습니다.