HuggingFace-Integration

Verwendung von SkyDeck.ai als Frontend für Ihre HuggingFace Modelle.

Nach dem Bereitstellen Ihres Inferenzendpunkts auf HuggingFace sollten Sie die folgende Benutzeroberfläche sehen:

Auf dieser Seite benötigen Sie die folgenden Informationen:

• Endpunkt-URL

• Modell Repository

• API-Token. Sie können dies sehen, indem Sie das Kontrollkästchen "API-Token hinzufügen" im Codeblock "Beispielaufrufe" überprüfen.

Zusätzlich zu diesen benötigen Sie auch das Kontextfenster Ihres Modells. Sie finden dies auf der Informationsseite des Modells.

Nachdem Sie diese Informationen gesammelt haben, formatieren Sie sie in JSON wie im folgenden Beispiel gezeigt:

{
    "api_key":"Ihr_api_key",
    "endpoint": "Ihr_api_endpunkt",
    "model_name": "meta-llama/Llama-2-7b-chat-hf",
    "context_window": 4096
}

Fügen Sie dies anschließend in das Feld Credential Ihrer Integration ein.

Sobald die Anmeldedaten erfolgreich validiert wurden, sollten Sie Ihr HuggingFace-Modell in der Modellliste von GenStudio sehen:

Skalierung von HuggingFace-Endpunkten auf Null

Die Skalierung auf 0 ist eine dynamische Funktion, die von Inference Endpoints angeboten wird, um die Ressourcennutzung und Kosten zu optimieren. Durch intelligentes Überwachen von Anforderungsmustern und Reduzierung der Anzahl von Replikaten auf keine während Leerlaufzeiten wird sichergestellt, dass Ressourcen nur dann genutzt werden, wenn sie notwendig sind.

Dies führt jedoch zu einer Kaltstartphase, wenn der Verkehr wieder aufgenommen wird, und es gibt einige Überlegungen, die zu bedenken sind. Für einen detaillierten Blick auf die Funktionsweise dieser Funktion, ihre Vorteile und potenzielle Herausforderungen, verweisen Sie bitte auf den Leitfaden von HuggingFace zum Autoscaling.

Unterstützte Modelle

Momentan unterstützen wir nur Endpunkte für Modelle mit dem text-generation Tag, die als text-generation-inference Container eingesetzt werden. Wir arbeiten daran, unsere Liste der unterstützten Modelle zu erweitern.

LLaMA 2 ist ein Modell mit Text Generierung Tag

Stellen Sie sicher, dass Sie bei der Bereitstellung Text Generierung Inferenz als Containertyp auswählen