HuggingFace 整合

使用SkyDeck.ai作為您的HuggingFace模型的前端。

在 HuggingFace 上部署您的推論端點後，您應該會看到以下的用戶界面：

在此頁面上，您將需要以下信息：

• 端點 URL

• 模型存儲庫

• API 令牌。您可以通過在「呼叫範例」代碼區塊中選擇「新增 API 令牌」來查看此信息。

除此之外，您還需要您的模型的上下文視窗。此信息可以在模型的詳細信息頁面上找到。

收集此信息後，將其格式化為如下所示的 JSON：

{
    "api_key":"your_api_key",
    "endpoint": "your_api_endpoint",
    "model_name": "meta-llama/Llama-2-7b-chat-hf",
    "context_window": 4096
}

接著，將此內容粘貼至您的集成的憑證欄位中。

一旦憑證成功驗證，您應該能在 GenStudio 的模型列表中看到您的 HuggingFace 模型：

將 HuggingFace 端點擴展至零

擴展至零是由推理端點提供的動態功能，旨在優化資源使用和成本。通過智能監控請求模式並在空閒時間將副本數減少至無，確保您僅在需要時使用資源。

然而，當流量恢復時，這確實會引入一個冷啟動期，也有一些需要注意的事項。請參閱 HuggingFace 的 Autoscaling 指南以深入了解此功能的運作方式、其優點以及可能的挑戰。

支援的模型

目前，我們只支援以text-generation標籤部署為text-generation-inference容器的模型端點。我們正在努力擴大我們支援的模型列表。

LLaMA 2是帶有文本生成標籤的模型

在部署過程中，請確定您選擇了文本生成推斷作為容器類型