Intégration HuggingFace

Après avoir déployé votre endpoint d'inférence sur HuggingFace, vous devriez voir l'interface utilisateur suivante :

Sur cette page, vous aurez besoin des informations suivantes :

• URL de l'endpoint
• Dépôt du modèle
• Jeton API. Vous pouvez le consulter en cochant la case "Add API token" dans le bloc de code Exemples d'appels.

En plus de ces éléments, vous aurez également besoin de la fenêtre de contexte de votre modèle. Celle-ci se trouve sur la page d'informations du modèle.

Après avoir collecté ces informations, formatez-les en JSON comme indiqué dans l'exemple ci-dessous :

{
    "api_key":"your_api_key",
    "endpoint": "your_api_endpoint",
    "model_name": "meta-llama/Llama-2-7b-chat-hf",
    "context_window": 4096
}

Ensuite, collez ceci dans le champ Identifiant de votre intégration.

Une fois l'identifiant validé avec succès, vous devriez voir votre modèle HuggingFace répertorié dans la liste des modèles de GenStudio :

Mise à l'échelle des endpoints HuggingFace à zéro

La mise à l'échelle à 0 est une fonctionnalité dynamique proposée par les Inference Endpoints, conçue pour optimiser l'utilisation des ressources et les coûts. En surveillant intelligemment les schémas de requêtes et en réduisant le nombre de répliques à zéro durant les périodes d'inactivité, elle garantit que vous n'utilisez des ressources que lorsque cela est nécessaire.

Cependant, cela introduit une période de démarrage à froid lorsque le trafic reprend, et quelques considérations sont à prendre en compte. Pour une analyse approfondie du fonctionnement de cette fonctionnalité, de ses avantages et des défis potentiels, veuillez consulter le guide HuggingFace sur l'Autoscaling.

Modèles pris en charge

Pour l'instant, nous ne prenons en charge que les endpoints pour les modèles portant le tag text-generation qui sont déployés en tant que conteneurs text-generation-inference. Nous travaillons à élargir notre liste de modèles pris en charge.