HuggingFace 통합

HuggingFace에 추론 엔드포인트를 배포하면 다음과 같은 사용자 인터페이스가 표시됩니다.

이 페이지에서 다음 정보가 필요합니다.

• 엔드포인트 URL
• 모델 리포지토리
• API 토큰. Call Examples 코드 블록의 "Add API token" 체크박스를 선택하여 확인할 수 있습니다.

이 외에도 모델의 컨텍스트 윈도우가 필요합니다. 이는 모델 정보 페이지에서 확인할 수 있습니다.

이 정보를 수집한 후, 아래 예시와 같이 JSON 형식으로 정리하십시오.

{
    "api_key":"your_api_key",
    "endpoint": "your_api_endpoint",
    "model_name": "meta-llama/Llama-2-7b-chat-hf",
    "context_window": 4096
}

다음으로, 이를 통합의 자격증명 필드에 붙여넣으십시오.

자격증명이 성공적으로 검증되면, GenStudio의 모델 목록에 HuggingFace 모델이 표시됩니다.

HuggingFace 엔드포인트를 0으로 스케일링

0으로 스케일링은 Inference Endpoints에서 제공하는 동적 기능으로, 리소스 활용도와 비용을 최적화하도록 설계되었습니다. 요청 패턴을 지능적으로 모니터링하고 유휴 시간 동안 레플리카 수를 0으로 줄임으로써, 필요할 때만 리소스를 사용할 수 있도록 보장합니다.

그러나 트래픽이 재개될 때 콜드 스타트 기간이 발생하며, 몇 가지 고려해야 할 사항이 있습니다. 이 기능의 작동 방식, 이점 및 잠재적인 문제에 대한 자세한 내용은 HuggingFace의 오토스케일링 가이드를 참조하십시오.

지원되는 모델

현재 text-generation-inference 컨테이너로 배포된 text-generation 태그가 있는 모델의 엔드포인트만 지원합니다. 지원되는 모델 목록을 확장하기 위해 노력하고 있습니다.