HuggingFace 統合
HuggingFaceモデルのフロントエンドとしてSkyDeck.aiを使用します。
最終更新
HuggingFaceモデルのフロントエンドとしてSkyDeck.aiを使用します。
最終更新
HuggingFaceに推論エンドポイントをデプロイした後、次のユーザーインターフェースが表示されるはずです:
このページでは、次の情報が必要です:
エンドポイントURL
モデルリポジトリ
APIトークン。このトークンは、Call Examplesコードブロックで「Add API token」ボックスをチェックすることで確認できます。
これに加えて、モデルのコンテキストウィンドウも必要です。これはモデルの情報ページで見つけることができます。
この情報を収集したら、以下の例のようにJSON形式にフォーマットします:
次に、これを統合のCredentialフィールドに貼り付けます。
資格情報が正常に検証されると、GenStudioのモデルリストにあなたのHuggingFaceモデルが表示されるはずです:
ゼロにスケーリングすることは、Inference Endpointsが提供する動的な機能で、リソースの利用効率とコストを最適化することを目指しています。インテリジェントにリクエストパターンを監視し、アイドルタイム中にレプリカの数をゼロに減らすことで、必要なときだけリソースを使用することを保証します。
しかし、これはトラフィックが再開したときのコールドスタート期間を導入しますので、注意すべき点がいくつかあります。この機能の動作方法、利点、潜在的な課題について詳しくは、HuggingFaceのAutoscalingに関するガイド を参照してください。
現時点では、text-generation
タグを持ち、text-generation-inference
コンテナとしてデプロイされたモデルのエンドポイントのみをサポートしています。サポートされているモデルのリストを拡大するために取り組んでいます。