Integración con HuggingFace

Después de desplegar su endpoint de inferencia en HuggingFace, debería ver la siguiente interfaz de usuario:

En esta página, necesitará la siguiente información:

• URL del endpoint
• Repositorio del modelo
• Token de API. Puede verlo marcando la casilla "Add API token" en el bloque de código de Ejemplos de llamadas.

Además de esto, también necesitará la ventana de contexto de su modelo. Esta se puede encontrar en la página de información del modelo.

Después de recopilar esta información, formatéela en JSON como se muestra en el ejemplo a continuación:

{
    "api_key":"your_api_key",
    "endpoint": "your_api_endpoint",
    "model_name": "meta-llama/Llama-2-7b-chat-hf",
    "context_window": 4096
}

A continuación, péguelo en el campo Credencial de su integración.

Una vez que la credencial se valide correctamente, debería ver su modelo de HuggingFace en la lista de modelos de GenStudio:

Escalar los endpoints de HuggingFace a cero

Escalar a 0 es una función dinámica que ofrecen los Inference Endpoints, diseñada para optimizar la utilización de recursos y los costos. Al monitorear de forma inteligente los patrones de solicitudes y reducir el número de réplicas a ninguna durante los períodos de inactividad, garantiza que solo utilice recursos cuando sea necesario.

Sin embargo, esto introduce un período de arranque en frío cuando se reanuda el tráfico, y hay algunas consideraciones a tener en cuenta. Para un análisis detallado de cómo funciona esta característica, sus beneficios y los posibles desafíos, consulte la guía de HuggingFace sobre el escalado automático.

Modelos compatibles

Por el momento, solo admitimos endpoints para modelos con la etiqueta text-generation que se despliegan como contenedores text-generation-inference. Estamos trabajando para ampliar nuestra lista de modelos compatibles.