Integración de HuggingFace
Usando SkyDeck.ai como la interfaz para tus modelos de HuggingFace.
Última actualización
Usando SkyDeck.ai como la interfaz para tus modelos de HuggingFace.
Última actualización
Después de desplegar tu punto final de inferencia en HuggingFace, deberías ver la siguiente interfaz de usuario:
En esta página, necesitarás la siguiente información:
URL del punto final
Repositorio del modelo
Token de API. Puedes ver esto marcando la casilla "Agregar token de API" en el bloque de código de Ejemplos de Llamadas.
Además de esto, también necesitarás la ventana de contexto de tu modelo. Esto se puede encontrar en la página de información del modelo.
Después de recopilar esta información, formatea en JSON como se muestra en el ejemplo a continuación:
A continuación, pega esto en el campo de Credenciales de tu integración.
Una vez que la credencial se valide correctamente, deberías ver tu modelo de HuggingFace listado en la lista de modelos de GenStudio:
Escalar a 0 es una característica dinámica ofrecida por los Endpoints de Inferencia, diseñada para optimizar la utilización de recursos y los costos. Al monitorear inteligentemente los patrones de solicitud y reducir el número de réplicas a ninguna durante los períodos de inactividad, asegura que solo utilice recursos cuando sea necesario.
Sin embargo, esto introduce un período de inicio en frío cuando se reanuda el tráfico, y hay algunas consideraciones de las que hay que estar consciente. Para una mirada profunda de cómo funciona esta característica, sus beneficios y desafíos potenciales, por favor consulte la guía de HuggingFace sobre el Autoescalado.
En este momento, solo soportamos puntos finales para modelos con una etiqueta de text-generation que están desplegados como contenedores de text-generation-inference. Estamos trabajando para expandir nuestra lista de modelos soportados.
