Zep

Zep은 개발자가 영구적인 장기 기억을 가진 정교한 AI 에이전트를 구축할 수 있도록 지원하는 고급 컨텍스트 엔지니어링 플랫폼입니다. Zep은 단순한 프롬프트 엔지니어링을 넘어, 신뢰할 수 있고 정확한 작업 완료를 위해 대규모 언어 모델(LLM)에 사용자 기록, 비즈니스 데이터, 대화의 미묘한 차이 등 필요한 모든 컨텍스트를 체계적으로 제공하는 데 중점을 둡니다. 이 플랫폼의 핵심 혁신은 대화와 데이터를 모든 상호 작용과 함께 진화하는 시간적 지식 그래프로 변환하여 AI 에이전트가 항상 가장 관련성 높고 최신 정보를 갖추도록 보장하는 능력에 있습니다.

Zep의 핵심은 과거 상호 작용에 대한 기억이 없는 상태 비저장 LLM의 근본적인 한계를 해결하는 것입니다. 살아있는 지식 그래프를 생성함으로써 Zep은 에이전트가 사용자 선호도, 이전 대화 및 중요한 비즈니스 컨텍스트를 기억할 수 있게 하여 사용자가 반복적으로 설명할 필요를 없애고 진정한 개인화된 경험을 가능하게 합니다. 이는 자동 엔티티 추출, 관계 매핑 및 사실 조정의 조합을 통해 달성되며, 시간이 지나도 지식 기반을 정확하고 일관성 있게 유지합니다.

Zep 사용 방법

Zep은 기존 AI 개발 워크플로우, 특히 LangChain 및 LangGraph와 같은 프레임워크를 사용하는 개발자에게 원활하게 통합되도록 설계되었습니다. 시작은 간단하며 몇 줄의 코드로 완료할 수 있습니다.

1. 가입 및 API 키 받기: Zep 웹사이트에서 무료 등급으로 시작하여 API 자격 증명을 받으세요. 초기 설정에는 신용 카드가 필요하지 않습니다.
2. Zep 클라이언트 설치: Zep 클라이언트 라이브러리를 Python 애플리케이션에 통합합니다.
3. 메모리에 대화 추가: 에이전트 코드에서 간단한 함수 호출을 사용하여 사용자 세션 메모리에 새 메시지를 추가합니다. 예: zep.memory.add(session_id, messages). Zep은 이 대화를 자동으로 처리하고 사실과 엔티티를 추출하며 지식 그래프를 업데이트합니다.
4. 관련 컨텍스트 검색: LLM을 호출하기 전에 Zep에서 조립된 컨텍스트를 검색합니다. memory = zep.memory.get(session_id)와 같은 단일 호출로 현재 상호 작용과 관련된 주요 사실, 엔티티 및 요약이 포함된 최적화된 컨텍스트 블록을 제공합니다.
5. 비즈니스 데이터 수집: JSON, 텍스트 또는 메시지 형식으로 데이터를 수집하여 비즈니스 데이터 소스(CRM, 청구 시스템 또는 지원 데이터베이스 등)를 연결합니다. Zep은 이 정보를 지식 그래프에 통합하여 검색할 수 있도록 합니다.

Zep의 핵심 기능

• 에이전트 메모리: 에이전트에게 모든 상호 작용에 걸쳐 사용자 선호도, 과거 대화 및 주요 세부 정보에 대한 완벽하고 영구적인 메모리를 제공하여 대화의 연속성을 보장합니다.
• 그래프 RAG: 지식 그래프를 기반으로 구축된 초고속 검색 증강 생성 시스템입니다. 비즈니스 데이터 내의 복잡한 관계와 컨텍스트를 이해하고 동적 정보를 밀리초 단위로 처리합니다.
• 자동 컨텍스트 조립: 구조화되고 LLM에 바로 사용할 수 있는 컨텍스트 블록을 자동으로 구성합니다. 사용자 특성, 상호 작용 기록 및 비즈니스 데이터를 토큰 효율적인 형식으로 결합하여 수동 프롬프트 작성이 필요 없습니다.
• 시간적 지식 그래프 구성: 비정형 대화 및 정형 데이터에서 엔티티, 관계 및 사실을 자동으로 추출합니다. 새로운 정보를 기존 데이터와 조정하고 오래된 사실을 무효화하여 시간 경과에 따른 정확성을 유지합니다.
• 엔터프라이즈급 규정 준수: SOC 2 Type II 인증을 제공하고 HIPAA를 준수하므로 의료와 같은 규제 산업의 애플리케이션에 적합합니다.

Zep의 사용 사례

Zep의 기능은 다양한 분야에 적용하여 고도로 개인화되고 효율적인 AI 에이전트를 만들 수 있습니다.

• 고객 지원: 에이전트는 고객의 전체 상호 작용 기록, 이전 문제 및 계정 세부 정보에 액세스하여 반복적인 질문 없이 빠르고 정확하며 개인화된 지원을 제공할 수 있습니다.
• 영업 및 마케팅: 영업 에이전트는 잠재 고객의 선호도, 제품 관심사, 과거 가격 논의 및 참여 패턴을 기억하여 홍보 활동을 개인화하고 판매 주기를 가속화할 수 있습니다.
• 전자 상거래: 사용자의 스타일 선호도, 구매 내역 및 최근 불만 사항(예: 신발이 망가짐)을 기억하여 쇼핑 경험을 개인화하고 에이전트가 매우 관련성 높은 추천을 할 수 있도록 합니다.
• 의료: HIPAA 준수 에이전트는 환자 상호 작용 기록을 안전하게 관리하여 예약, 후속 조치를 돕고 컨텍스트와 개인 정보를 유지하면서 정보를 제공할 수 있습니다.
• 교육: AI 튜터는 학생의 학습 진행 상황, 어려운 부분 및 선호하는 학습 스타일을 기억하여 적응력 있고 효과적인 교육 경험을 만들 수 있습니다.

Zep의 장점

Zep은 AI 애플리케이션에 상당한 성능 및 효율성 향상을 제공합니다.

• 획기적인 정확도 향상: 올바른 컨텍스트를 제공함으로써 Zep은 복잡한 작업에서 에이전트 성능을 100% 이상 향상시킵니다.
• 지연 시간 감소: 최적화된 컨텍스트 검색 및 조립으로 지연 시간이 90% 감소하여 실시간 상호 작용이 가능합니다.
• 높은 토큰 효율성: 스마트 컨텍스트 조립은 포괄적인 이해를 유지하면서 토큰 사용량을 최대 98%까지 줄여 운영 비용을 절감합니다.
• 신속한 개발: 개발자는 복잡한 메모리 및 검색 인프라를 처음부터 구축할 필요 없이 몇 달이 아닌 며칠 만에 개인화된 에이전트를 배포할 수 있습니다.
• 확장성 및 보안: 팀을 위해 구축되고 대규모로 입증된 Zep은 SOC 2 및 HIPAA 준수를 포함한 엔터프라이즈급 보안과 프라이빗 클라우드 배포(BYOC) 옵션을 제공합니다.

가격 및 플랜

Zep은 모든 규모의 프로젝트에 적합한 유연한 사용량 기반 가격 모델을 제공합니다.

• 미터제 플랜(프리미엄): 이 플랜은 개발자 및 성장하는 애플리케이션에 적합합니다. 매월 2,500개의 메시지와 2.5MB의 그래프 데이터를 제공하는 넉넉한 무료 등급이 포함됩니다. 무료 할당량을 초과하면 메시지 1,000개당 1.25달러, 그래프 데이터 MB당 2.50달러의 요금이 부과됩니다.
• 엔터프라이즈 플랜: 미션 크리티컬 애플리케이션을 위해 설계된 이 플랜은 맞춤형 한도, SOC 2 Type II 인증, HIPAA BAA 포함, 단일 테넌시, 전용 Slack 지원 및 SLA 보증을 제공합니다.
• 엔터프라이즈 BYOC(Bring Your Own Cloud): 최대의 데이터 제어 및 보안을 위해 Zep을 자체 AWS, GCP 또는 Azure 환경에 배포하여 데이터가 보안 경계를 벗어나지 않도록 할 수 있습니다.
• 스타트업 크레딧: VC 투자를 받은 스타트업은 구독료에 사용할 수 있는 2,500달러의 크레딧을 신청할 수 있습니다.