Integrazione con HuggingFace

Dopo aver distribuito il proprio endpoint di inferenza su HuggingFace, si dovrebbe visualizzare la seguente interfaccia utente:

In questa pagina, saranno necessarie le seguenti informazioni:

• URL dell'endpoint
• Repository del modello
• Token API. È possibile visualizzarlo spuntando la casella "Add API token" nel blocco di codice degli Esempi di chiamate.

Oltre a queste, sarà necessaria anche la finestra di contesto del proprio modello. Questa si trova nella pagina delle informazioni del modello.

Dopo aver raccolto queste informazioni, formattarle in JSON come mostrato nell'esempio seguente:

{
    "api_key":"your_api_key",
    "endpoint": "your_api_endpoint",
    "model_name": "meta-llama/Llama-2-7b-chat-hf",
    "context_window": 4096
}

Successivamente, incollare questo contenuto nel campo Credenziale della propria integrazione.

Una volta che la credenziale è stata convalidata con successo, il modello HuggingFace dovrebbe comparire nell'elenco dei modelli di GenStudio:

Ridimensionamento degli endpoint HuggingFace a zero

Il ridimensionamento a 0 è una funzionalità dinamica offerta dagli Inference Endpoints, progettata per ottimizzare l'utilizzo delle risorse e i costi. Monitorando in modo intelligente i pattern delle richieste e riducendo il numero di repliche a zero durante i periodi di inattività, garantisce che le risorse vengano utilizzate solo quando necessario.

Tuttavia, questo introduce un periodo di avvio a freddo quando il traffico riprende, e vi sono alcune considerazioni di cui tenere conto. Per un'analisi approfondita del funzionamento di questa funzionalità, dei suoi vantaggi e delle potenziali criticità, si rimanda alla guida HuggingFace sull'Autoscaling.

Modelli supportati

Al momento, sono supportati solo gli endpoint per i modelli con il tag text-generation che vengono distribuiti come contenitori text-generation-inference. Stiamo lavorando per ampliare il nostro elenco di modelli supportati.