HuggingFace 整合
使用 SkyDeck.ai 作為您的 HuggingFace 模型的前端。
Last updated
使用 SkyDeck.ai 作為您的 HuggingFace 模型的前端。
Last updated
在 HuggingFace 上部署您的推理端點後，您應該會看到以下用戶界面：
在此頁面上，您需要以下資訊：
端點 URL
模型庫
API 令牌。您可以通過在呼叫範例代碼區塊中勾選「添加 API 令牌」框來查看此項。
除了這些，您還需要模型的上下文窗口。這可以在模型的資訊頁面上找到。
收集完這些資訊後，將其格式化為 JSON，如下例所示：
接下來，將此內容粘貼到您的整合的憑證欄位中。
一旦憑證成功驗證，您應該會在 GenStudio 的模型列表中看到您的 HuggingFace 模型：
擴展至零是由推理端點提供的動態功能，旨在優化資源使用和成本。通過智能監控請求模式並在空閒時間將副本數減少至無，確保您僅在需要時使用資源。
然而，當流量恢復時，這確實會引入一個冷啟動期，也有一些需要注意的事項。請參閱 HuggingFace 的 Autoscaling 指南以深入了解此功能的運作方式、其優點以及可能的挑戰。
目前，我們僅支援具有 text-generation 標籤的模型的端點，這些模型以 text-generation-inference 容器的形式部署。我們正在努力擴展我們支援的模型列表。
