コンテンツにスキップ

HuggingFace インテグレーション

HuggingFace に推論エンドポイントをデプロイすると、次のユーザーインターフェイスが表示されます。

このページでは、以下の情報が必要です。

  • エンドポイント URL
  • モデルリポジトリ
  • API トークン。「Call Examples」コードブロック内の「Add API token」チェックボックスをオンにすることで確認できます。

これらに加えて、モデルのコンテキストウィンドウも必要です。これはモデルの情報ページで確認できます。

この情報を収集したら、以下の例に示すように JSON 形式に整形してください。

{
    "api_key":"your_api_key",
    "endpoint": "your_api_endpoint",
    "model_name": "meta-llama/Llama-2-7b-chat-hf",
    "context_window": 4096
}

次に、これをインテグレーションの「認証情報」フィールドに貼り付けます。

認証情報の検証が正常に完了すると、GenStudio のモデル一覧に HuggingFace モデルが表示されます。

HuggingFace エンドポイントをゼロにスケーリングする

ゼロへのスケーリングは、Inference Endpoints が提供する動的な機能で、リソースの利用率とコストを最適化するために設計されています。リクエストパターンをインテリジェントに監視し、アイドル時間中にレプリカ数をゼロに削減することで、必要なときのみリソースを使用できるようにします。

ただし、トラフィックが再開するとコールドスタート期間が発生するため、いくつかの点に注意が必要です。この機能の動作、メリット、および潜在的な課題について詳しくは、HuggingFace のオートスケーリングガイドをご参照ください。

サポートされているモデル

現時点では、text-generation-inference コンテナとしてデプロイされた text-generation タグ付きモデルのエンドポイントのみをサポートしています。サポート対象モデルの拡充に向けて取り組んでいます。