SkyDeck.ai Docs
注册管理员登录联系我们
简体中文
简体中文
  • SkyDeck.ai
  • GenStudio 工作区
    • 对话
    • SkyDeck AI 助手应用
    • 文档上传
    • 共享与协作
    • Slack 同步
    • 公共快照
    • 网页浏览
    • 工具
      • 配对程序员
        • 如何使用
        • 示例 – Python 脚本辅助
      • SQL 助手
        • 如何使用
        • 示例 – 查询调试
      • 法律协议审查
        • 如何使用
        • 示例 – NDA 条款
      • 教我任何事
        • 如何使用
        • 示例 – 编程入门
      • 战略顾问
        • 如何使用
        • 示例 – 员工保留
      • 图像生成器
        • 如何使用
        • 示例 – 冬季仙境
    • 数据安全
      • 数据丢失防护
  • 控制中心
    • 管理员与所有者工具
    • 设置指南
      • 设置账户
      • 设置集成
        • 集成帮助
      • 设置安全
        • 身份验证 (SSO)
      • 组织团队
        • 添加新组
        • 移除组
      • 策划工具
        • 系统工具
        • 分配标签
      • 管理成员
        • 添加成员
        • 导入文件
        • 邀请成员
        • 编辑成员
    • 计费
      • 免费试用
      • 购买积分
      • 计划与升级
      • 模型使用价格
  • 集成
    • LLMs 和数据库
      • Anthropic 集成
      • 数据库集成
      • Groq 集成
      • HuggingFace 集成
      • Mistral 集成
      • OpenAI 集成
      • Perplexity 集成
      • Together AI 集成
      • Vertex AI 集成
    • 应用集成
      • Rememberizer 集成
      • Slack 集成
  • 开发者
    • 开发自己的工具
      • 工具的 JSON 格式
      • LLM 工具的 JSON 格式
      • 示例:基于文本的 UI 生成器
      • 智能工具的 JSON 格式
  • 用例
    • 创建隐私政策
  • 通知
    • 使用条款
    • 隐私政策
    • Cookie 通知
  • 版本发布
    • 2025年5月23日
    • 2025年5月16日
    • 2025年5月9日
    • 2025年5月2日
    • 2025年4月25日
    • 2025年4月18日
    • 2025年4月11日
    • 2025年4月4日
    • 2025年3月28日
    • 2025年3月21日
    • 2025年3月14日
    • 2025年3月7日
    • 2025年2月28日
    • 2025年2月21日
    • 2025年2月14日
    • 2025年2月7日
    • 2025年1月31日
    • 2025年1月24日
    • 2025年1月17日
    • 2025年1月10日
    • 2025年1月3日
    • 2024年12月27日
    • 2024年12月20日
    • 2024年12月13日
    • 2024年12月6日
    • 2024年11月29日
    • 2024年11月22日
    • 2024年11月15日
    • 2024年11月8日
    • 2024年11月1日
    • 2024年10月25日
    • 2024年10月18日
    • 2024年10月11日
    • 2024年10月4日
    • 2024年9月27日
    • 2024年9月20日
    • 2024年9月13日
    • 2024年9月6日
    • 2024年8月23日
    • 2024年8月16日
    • 2024年8月9日
    • 2024年8月2日
    • 2024年7月26日
    • 2024年7月12日
    • 2024年7月5日
    • 2024年6月28日
    • 2024年6月21日
    • 2023年11月12日
    • 2023年11月6日
    • 2023年10月30日
    • 2023年10月23日
    • 2023年10月16日
    • 2023年9月18日
    • 2023年9月8日
  • 安全
    • SkyDeck.ai 安全实践
    • 漏洞奖励计划
  • AI 文档
    • LLM 评估报告
    • SkyDeck.ai LLM 准备文档
Powered by GitBook
On this page
  • 将HuggingFace端点缩减到零
  • 支持的模型
  1. 集成
  2. LLMs 和数据库

HuggingFace 集成

使用 SkyDeck.ai 作为您的 HuggingFace 模型的前端。

PreviousGroq 集成NextMistral 集成

Last updated 25 days ago

在 HuggingFace 上部署您的推理端点后,您应该会看到以下用户界面:

在此页面上,您需要以下信息:

  • 端点 URL

  • 模型库

  • API 令牌。您可以通过在调用示例代码块中勾选“添加 API 令牌”框来查看此信息。

除了这些,您还需要模型的上下文窗口。您可以在模型的信息页面找到此信息。

收集完这些信息后,将其格式化为 JSON,如下例所示:

{
    "api_key":"your_api_key",
    "endpoint": "your_api_endpoint",
    "model_name": "meta-llama/Llama-2-7b-chat-hf",
    "context_window": 4096
}

接下来,将其粘贴到您的集成的凭据字段中。

一旦凭据成功验证,您应该会在 GenStudio 的模型列表中看到您的 HuggingFace 模型:

将HuggingFace端点缩减到零

缩减到0是Inference Endpoints提供的一种动态特性,旨在优化资源利用和成本。通过智能监控请求模式并在空闲时间将副本数量减少到零,确保您只在必要时使用资源。

支持的模型

目前,我们仅支持带有 text-generation 标签并作为 text-generation-inference 容器部署的模型的端点。我们正在努力扩展我们支持的模型列表。

然而,这确实引入了一个冷启动期,当流量恢复时,有几个需要注意的考虑因素。要深入了解这个特性的功能,其优点以及潜在挑战,请参考。

HuggingFace的自动缩放指南
LLaMA 2 是一个带有文本生成标签的模型
确保在部署期间选择文本生成推理作为容器类型
huggingface 部署界面
凭据字段
huggingface 模型作为 genstudio 模型
image (48)
image (49)