SkyDeck.ai Docs
註冊管理員登入聯絡我們
繁體中文
繁體中文
  • SkyDeck.ai
  • GenStudio 工作區
    • 對話
    • SkyDeck AI 助手應用程式
    • 文件上傳
    • 共享與協作
    • Slack 同步
    • 公共快照
    • 網頁瀏覽
    • 工具
      • 配對程式設計師
        • 如何使用
        • 範例 – Python 腳本協助
      • SQL 助手
        • 如何使用
        • 範例 – 查詢除錯
      • 法律協議審查
        • 如何使用
        • 範例 – NDA 條款
      • 教我任何事
        • 如何使用
        • 範例 – 程式設計入門
      • 策略顧問
        • 如何使用
        • 範例 – 員工留任
      • 圖像生成器
        • 如何使用
        • 範例 – 冬季仙境
    • 數據安全
      • 數據丟失防護
  • 控制中心
    • 管理員與擁有者工具
    • 設置指南
      • 設置帳戶
      • 設置整合
        • 整合協助
      • 設置安全性
        • 身份驗證 (SSO)
      • 組織團隊
        • 新增群組
        • 移除群組
      • 策劃工具
        • 系統工具
        • 分配標籤
      • 管理成員
        • 新增成員
        • 導入文件
        • 邀請成員
        • 編輯成員
    • 計費
      • 免費試用
      • 購買信用
      • 計劃與升級
      • 模型使用價格
  • 整合
    • LLMs 和數據庫
      • Anthropic 整合
      • 數據庫整合
      • Groq 整合
      • HuggingFace 整合
      • Mistral 整合
      • OpenAI 整合
      • Perplexity 整合
      • Together AI 整合
      • Vertex AI 整合
    • 應用整合
      • Rememberizer 整合
      • Slack 整合
  • 開發者
    • 開發自己的工具
      • 工具的 JSON 格式
      • LLM 工具的 JSON 格式
      • 範例:基於文本的 UI 生成器
      • 智能工具的 JSON 格式
  • 使用案例
    • 創建隱私政策
  • 通知
    • 使用條款
    • 隱私政策
    • Cookie 通知
  • 版本
    • 2025 年 5 月 30 日
    • 2025 年 5 月 23 日
    • 2025 年 5 月 16 日
    • 2025 年 5 月 9 日
    • 2025 年 5 月 2 日
    • 2025 年 4 月 25 日
    • 2025 年 4 月 18 日
    • 2025 年 4 月 11 日
    • 2025 年 4 月 4 日
    • 2025 年 3 月 28 日
    • 2025 年 3 月 21 日
    • 2025 年 3 月 14 日
    • 2025 年 3 月 7 日
    • 2025 年 2 月 28 日
    • 2025 年 2 月 21 日
    • 2025 年 2 月 14 日
    • 2025 年 2 月 7 日
    • 2025 年 1 月 31 日
    • 2025 年 1 月 24 日
    • 2025 年 1 月 17 日
    • 2025 年 1 月 10 日
    • 2025 年 1 月 3 日
    • 2024 年 12 月 27 日
    • 2024 年 12 月 20 日
    • 2024 年 12 月 13 日
    • 2024 年 12 月 6 日
    • 2024 年 11 月 29 日
    • 2024 年 11 月 22 日
    • 2024 年 11 月 15 日
    • 2024 年 11 月 8 日
    • 2024 年 11 月 1 日
    • 2024 年 10 月 25 日
    • 2024 年 10 月 18 日
    • 2024 年 10 月 11 日
    • 2024 年 10 月 4 日
    • 2024 年 9 月 27 日
    • 2024 年 9 月 20 日
    • 2024 年 9 月 13 日
    • 2024 年 9 月 6 日
    • 2024 年 8 月 23 日
    • 2024 年 8 月 16 日
    • 2024 年 8 月 9 日
    • 2024 年 8 月 2 日
    • 2024 年 7 月 26 日
    • 2024 年 7 月 12 日
    • 2024 年 7 月 5 日
    • 2024 年 6 月 28 日
    • 2024 年 6 月 21 日
    • 2023 年 11 月 12 日
    • 2023 年 11 月 6 日
    • 2023 年 10 月 30 日
    • 2023 年 10 月 23 日
    • 2023 年 10 月 16 日
    • 2023 年 9 月 18 日
    • 2023 年 9 月 8 日
  • 安全性
    • SkyDeck.ai 安全實踐
    • 漏洞獎勵計劃
  • AI 文檔
    • LLM 評估報告
    • SkyDeck.ai LLM 準備文檔
Powered by GitBook
On this page
  • 將 HuggingFace 端點擴展至零
  • 支援的模型
  1. 整合
  2. LLMs 和數據庫

HuggingFace 整合

使用 SkyDeck.ai 作為您的 HuggingFace 模型的前端。

PreviousGroq 整合NextMistral 整合

Last updated 1 month ago

在 HuggingFace 上部署您的推理端點後,您應該會看到以下用戶界面:

在此頁面上,您需要以下資訊:

  • 端點 URL

  • 模型庫

  • API 令牌。您可以通過在呼叫範例代碼區塊中勾選「添加 API 令牌」框來查看此項。

除了這些,您還需要模型的上下文窗口。這可以在模型的資訊頁面上找到。

收集完這些資訊後,將其格式化為 JSON,如下例所示:

{
    "api_key":"your_api_key",
    "endpoint": "your_api_endpoint",
    "model_name": "meta-llama/Llama-2-7b-chat-hf",
    "context_window": 4096
}

接下來,將此內容粘貼到您的整合的憑證欄位中。

一旦憑證成功驗證,您應該會在 GenStudio 的模型列表中看到您的 HuggingFace 模型:

將 HuggingFace 端點擴展至零

擴展至零是由推理端點提供的動態功能,旨在優化資源使用和成本。通過智能監控請求模式並在空閒時間將副本數減少至無,確保您僅在需要時使用資源。

支援的模型

目前,我們僅支援具有 text-generation 標籤的模型的端點,這些模型以 text-generation-inference 容器的形式部署。我們正在努力擴展我們支援的模型列表。

然而,當流量恢復時,這確實會引入一個冷啟動期,也有一些需要注意的事項。請參閱 以深入了解此功能的運作方式、其優點以及可能的挑戰。

HuggingFace 的 Autoscaling 指南
LLaMA 2 是一個具有文本生成標籤的模型
確保在部署期間選擇文本生成推理作為容器類型
huggingface deploy interface
credential field
huggingface model as genstudio model
image (48)
image (49)