# HuggingFace 整合

在 HuggingFace 上部署您的推理端點後，您應該會看到以下用戶界面：

<figure><img src="https://792239878-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FDpjOuj6vh9iG28BJUH22%2Fuploads%2Fgit-blob-3cebac1187e5934af601f345205c10c13a23e4b0%2Fhuggingface-deploy-interface.png?alt=media" alt="huggingface deploy interface"><figcaption></figcaption></figure>

在此頁面上，您需要以下資訊：

* 端點 URL
* 模型庫
* API 令牌。您可以通過在呼叫範例代碼區塊中勾選「添加 API 令牌」框來查看此項。

除了這些，您還需要模型的上下文窗口。這可以在模型的資訊頁面上找到。

收集完這些資訊後，將其格式化為 JSON，如下例所示：

```json
{
    "api_key":"your_api_key",
    "endpoint": "your_api_endpoint",
    "model_name": "meta-llama/Llama-2-7b-chat-hf",
    "context_window": 4096
}
```

接下來，將此內容粘貼到您的整合的憑證欄位中。

<figure><img src="https://792239878-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FDpjOuj6vh9iG28BJUH22%2Fuploads%2Fgit-blob-cbedbe5ba57f0c2a044f8e16347871101993ab1e%2Fcredential-field.png?alt=media" alt="credential field"><figcaption></figcaption></figure>

一旦憑證成功驗證，您應該會在 GenStudio 的模型列表中看到您的 HuggingFace 模型：

<figure><img src="https://792239878-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FDpjOuj6vh9iG28BJUH22%2Fuploads%2Fgit-blob-7d0620d1c2ee39ec3b9107a11606c90f9c0e1a2f%2Fhuggingface-model-as-genstudio-model.png?alt=media" alt="huggingface model as genstudio model"><figcaption></figcaption></figure>

### 將 HuggingFace 端點擴展至零

擴展至零是由推理端點提供的動態功能，旨在優化資源使用和成本。通過智能監控請求模式並在空閒時間將副本數減少至無，確保您僅在需要時使用資源。

然而，當流量恢復時，這確實會引入一個冷啟動期，也有一些需要注意的事項。請參閱 [HuggingFace 的 Autoscaling 指南](https://huggingface.co/docs/inference-endpoints/autoscaling)以深入了解此功能的運作方式、其優點以及可能的挑戰。

### 支援的模型

目前，我們僅支援具有 `text-generation` 標籤的模型的端點，這些模型以 `text-generation-inference` 容器的形式部署。我們正在努力擴展我們支援的模型列表。

<figure><img src="https://792239878-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FDpjOuj6vh9iG28BJUH22%2Fuploads%2Fgit-blob-0c1ab5a0d59184ec59f198d38015cf32ca16c7d8%2Fimage%20(48).png?alt=media" alt="image (48)"><figcaption><p>LLaMA 2 是一個具有文本生成標籤的模型</p></figcaption></figure>

<figure><img src="https://792239878-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FDpjOuj6vh9iG28BJUH22%2Fuploads%2Fgit-blob-f81779ba2fdedf5471bc5ef3ee0acd1ecb5d8c7e%2Fimage%20(49).png?alt=media" alt="image (49)"><figcaption><p>確保在部署期間選擇文本生成推理作為容器類型</p></figcaption></figure>
