Cleora

Cleora는 Synerise.com 팀이 개발한 범용 오픈 소스 모델로, 복잡하고 이기종인 관계형 데이터로부터 효율적이고 확장 가능한 엔티티 임베딩 학습을 위해 설계되었습니다. 쇼핑 카트의 상품, 소셜 네트워크의 사용자, 생물학적 시스템의 단백질과 같은 엔티티와 그 상호작용을 의미 있는 수치 벡터로 변환하는 데 탁월합니다. 이러한 벡터, 즉 임베딩은 기저의 관계와 유사성을 포착하여 다운스트림 머신러닝 작업에 매우 중요한 자산이 됩니다.

고성능 Rust 코어로 구축되고 사용자 친화적인 Python 패키지(pycleora)를 통해 노출되는 Cleora는 DeepWalk나 PyTorch-BigGraph와 같은 기존 방법보다 몇 배나 빠른 처리 속도를 달성합니다. 이는 데이터에서 파생된 마르코프 전이 행렬에 대한 반복적인 랜덤 프로젝션 원리에 따라 작동하며, 이 방법은 네거티브 샘플링의 노이즈와 비효율성을 피합니다. 이를 통해 단일 머신에서 매우 큰 그래프와 하이퍼그래프를 처리할 수 있으며, 이는 실제 애플리케이션에 상당한 이점입니다.

Cleora 사용 방법

Python에 익숙한 개발자와 데이터 과학자에게 Cleora 사용은 간단합니다. 프로세스는 일반적으로 다음 단계를 포함합니다:

1. 설치: pip를 사용하여 Python 패키지를 직접 설치합니다: pip install pycleora.
2. 데이터 준비: 데이터를 하이퍼에지 시리즈로 구성합니다. 하이퍼에지는 함께 발생하는 엔티티 그룹입니다. 예를 들어, 입력 파일의 한 줄은 단일 거래에서 구매한 모든 상품을 공백으로 구분하여 나타낼 수 있습니다. 이는 pandas DataFrame이나 모든 Python 이터레이터에서 준비할 수 있습니다.
3. 행렬 생성: SparseMatrix.from_iterator() 함수를 사용하여 준비된 데이터를 희소 마르코프 전이 행렬로 변환합니다. 이 행렬은 하이퍼그래프 내의 관계를 나타냅니다.
4. 임베딩 초기화: Cleora가 결정론적으로 임베딩 벡터를 초기화하도록 하거나, 자신만의 초기 벡터를 제공할 수 있습니다. 이 독특한 기능을 통해 텍스트(예: Sentence-BERT)나 이미지(예: ViT)의 임베딩과 같은 외부 정보를 그래프 구조에 통합할 수 있습니다.
5. 전파: mat.left_markov_propagate(embeddings)를 사용하여 몇 번의 마르코프 전파 반복을 수행합니다. 일반적으로 3~7회 반복으로 충분합니다. 반복 횟수가 적으면 직접적인 동시 발생을 포착하고, 많으면 더 깊은 문맥적 유사성을 포착합니다.
6. 정규화: 결과 임베딩 벡터를 일반적으로 L2 놈으로 정규화하여 하이퍼스피어 상에 위치하도록 합니다. 이렇게 하면 코사인 유사도나 내적으로 비교할 수 있습니다.
7. 사용: 최종 정규화된 벡터는 추천, 분류, 클러스터링 또는 유사성 검색 작업에 사용할 수 있는 엔티티 임베딩입니다.

Cleora의 핵심 기능

• 극한의 성능: Rust로 작성되었으며 동시성 및 캐시 일관성에 최적화되어 있어 매우 빠릅니다.
• 확장성: 단일 상용 머신에서 수십억 개의 엣지를 가진 매우 큰 그래프 및 하이퍼그래프를 임베딩할 수 있습니다.
• 귀납적 학습: 전체 모델을 재훈련하지 않고도 이전에 보지 못한 새로운 엔티티에 대한 임베딩을 즉시 생성하여 콜드 스타트 문제를 효과적으로 해결합니다.
• 안정성 및 결정성: Node2vec과 같은 방법과 달리, Cleora는 동일한 입력 데이터에 대해 여러 번 실행해도 동일한 임베딩을 생성하여 재현성과 안정성을 보장합니다.
• 하이퍼그래프 지원: 하이퍼그래프(예: 장바구니의 상품, 그룹의 사용자)를 기본적으로 처리하여 간단한 쌍 그래프 분해보다 강력합니다.
• Python 통합: 데이터 과학 워크플로에서 쉽게 사용할 수 있도록 NumPy와 깊이 통합된 원활한 Python API(pycleora)를 제공합니다.
• 사용자 정의 초기화: 사용자가 다른 소스(예: 텍스트, 이미지 모델)의 벡터로 임베딩을 초기화하여 다중 모드 분석을 가능하게 합니다.

Cleora의 사용 사례

Cleora의 다재다능함은 다양한 산업 분야의 광범위한 애플리케이션에 적합합니다:

• 전자상거래: 추천 시스템('이 상품을 구매한 고객이 함께 구매한 상품...'), 상품 유사성 및 장바구니 분석을 위한 강력한 상품 임베딩 생성.
• 소셜 네트워크 분석: 사용자 및 콘텐츠를 임베딩하여 커뮤니티를 식별하고, 연결을 예측하며, 콘텐츠를 추천합니다.
• 생물정보학: 생물학적 경로에서 동시 발생을 기반으로 단백질, 약물, 유전자 간의 상호작용을 분석합니다.
• 금융 서비스: 거래 그래프에서 비정상적인 패턴을 식별하여 사기 행위를 탐지합니다.
• 학술 연구: 공동 저자 네트워크를 분석하여 연구 커뮤니티와 영향력 있는 저자를 발견합니다.

Cleora의 장점

Cleora는 몇 가지 주요 장점으로 다른 임베딩 프레임워크와 차별화됩니다:

• 비교 불가능한 속도: 많은 인기 있는 대안보다 훨씬 빠릅니다(예: 벤치마크에서 DeepWalk보다 190배 이상 빠름).
• 프로덕션 준비 완료: 안정성, 귀납성 및 실시간 업데이트 가능성으로 라이브 프로덕션 환경에 배포하기에 이상적입니다.
• 고품질 임베딩: 네거티브 샘플링 없이 전체 전이 행렬에서 명시적인 랜덤 워크를 수행하는 방법은 더 높은 품질과 더 정확한 임베딩을 제공합니다.
• 자원 효율성: 단일 머신에서 효율적으로 실행되도록 설계되어 값비싼 분산 컴퓨팅 클러스터의 필요성을 줄입니다.
• 단순성과 유연성: 모델은 개념적으로 간단하면서도 강력하며, 데이터 입력 및 임베딩 초기화에 유연성을 제공합니다.

가격 및 플랜

Cleora는 MIT 라이선스에 따라 출시된 완전한 오픈 소스 프로젝트입니다. 이는 학술 및 상업적 목적으로 완전히 무료로 사용할 수 있음을 의미합니다. 유료 플랜이나 숨겨진 비용은 없습니다. 소스 코드는 누구나 사용, 검사 또는 기여할 수 있도록 GitHub에 공개되어 있습니다.