HuggingFace 集成
使用 SkyDeck.ai 作为您的 HuggingFace 模型的前端。
Last updated
使用 SkyDeck.ai 作为您的 HuggingFace 模型的前端。
Last updated
在 HuggingFace 上部署您的推理端点后，您应该会看到以下用户界面：
在此页面上，您需要以下信息：
端点 URL
模型库
API 令牌。您可以通过在调用示例代码块中勾选“添加 API 令牌”框来查看此项。
除了这些，您还需要模型的上下文窗口。可以在模型的信息页面找到此项。
收集到这些信息后，将其格式化为 JSON，如下例所示：
接下来，将其粘贴到您的集成的凭据字段中。
一旦凭据成功验证，您应该会在 GenStudio 的模型列表中看到您的 HuggingFace 模型：
缩减到0是Inference Endpoints提供的一种动态特性，旨在优化资源利用和成本。通过智能监控请求模式并在空闲时间将副本数量减少到零，确保您只在必要时使用资源。
然而，这确实引入了一个冷启动期，当流量恢复时，有几个需要注意的考虑因素。要深入了解这个特性的功能，其优点以及潜在挑战，请参考HuggingFace的自动缩放指南。
目前，我们仅支持带有 text-generation 标签并作为 text-generation-inference 容器部署的模型的端点。我们正在努力扩展我们支持的模型列表。
