SkyDeck.ai Docs
AnmeldenAdministrator-AnmeldungKontaktieren Sie uns
Deutsch
Deutsch
  • SkyDeck.ai
  • GenStudio Workspace
    • Gespräche
    • SkyDeck AI Helper App
    • Dokumenten-Upload
    • Teilen und Zusammenarbeit
    • Slack-Synchronisierung
    • Öffentliche Schnappschüsse
    • Web-Browsing
    • Werkzeuge
      • Pair Programmer
        • Wie man es benutzt
        • Beispiel – Python-Skript-Hilfe
      • SQL-Assistent
        • Wie man es benutzt
        • Beispiel – Abfrage-Debugging
      • Überprüfung von rechtlichen Vereinbarungen
        • Wie man es benutzt
        • Beispiel – NDA-Klausel
      • Lehre mich alles
        • Wie man es benutzt
        • Beispiel – Einführung in die Programmierung
      • Strategieberater
        • Wie man es benutzt
        • Beispiel – Mitarbeiterbindung
      • Bildgenerator
        • Wie man es benutzt
        • Beispiel – Winterwunderland
    • Datensicherheit
      • Datenverlustprävention
  • Kontrollzentrum
    • Admin- & Eigentümer-Tools
    • Einrichtungsanleitung
      • Konto einrichten
      • Integrationen einrichten
        • Integrationshilfe
      • Sicherheit einrichten
        • Authentifizierung (SSO)
      • Teams organisieren
        • Neue Gruppe hinzufügen
        • Gruppen entfernen
      • Werkzeuge kuratieren
        • Systemwerkzeuge
        • Tags zuweisen
      • Mitglieder verwalten
        • Mitglieder hinzufügen
        • Datei importieren
        • Mitglieder einladen
        • Mitglieder bearbeiten
    • Abrechnung
      • Kostenlose Testversion
      • Guthaben kaufen
      • Pläne und Upgrades
      • Preise für Modellnutzung
  • Integrationen
    • LLMs und Datenbanken
      • Anthropic-Integration
      • Datenbankintegration
      • Groq-Integration
      • HuggingFace-Integration
      • Mistral-Integration
      • OpenAI-Integration
      • Perplexity-Integration
      • Together AI-Integration
      • Vertex AI-Integration
    • App-Integrationen
      • Rememberizer-Integration
      • Slack-Integration
  • Entwickler
    • Entwickle deine eigenen Werkzeuge
      • JSON-Format für Werkzeuge
      • JSON-Format für LLM-Werkzeuge
      • Beispiel: Textbasiertes UI-Generator
      • JSON-Format für intelligente Werkzeuge
  • Anwendungsfälle
    • Erstellung einer Datenschutzrichtlinie
  • Hinweise
    • Nutzungsbedingungen
    • Datenschutzrichtlinie
    • Cookie-Hinweis
  • Versionen
    • 6. Juni 2025
    • 30. Mai 2025
    • 23. Mai 2025
    • 16. Mai 2025
    • 9. Mai 2025
    • 2. Mai 2025
    • 25. April 2025
    • 18. April 2025
    • 11. April 2025
    • 4. April 2025
    • 28. März 2025
    • 21. März 2025
    • 14. März 2025
    • 7. März 2025
    • 28. Februar 2025
    • 21. Februar 2025
    • 14. Februar 2025
    • 7. Februar 2025
    • 31. Januar 2025
    • 24. Januar 2025
    • 17. Januar 2025
    • 10. Januar 2025
    • 3. Januar 2025
    • 27. Dezember 2024
    • 20. Dezember 2024
    • 13. Dezember 2024
    • 6. Dezember 2024
    • 29. November 2024
    • 22. November 2024
    • 15. November 2024
    • 8. November 2024
    • 1. November 2024
    • 25. Oktober 2024
    • 18. Oktober 2024
    • 11. Oktober 2024
    • 4. Oktober 2024
    • 27. September 2024
    • 20. September 2024
    • 13. September 2024
    • 6. September 2024
    • 23. August 2024
    • 16. August 2024
    • 9. August 2024
    • 2. August 2024
    • 26. Juli 2024
    • 12. Juli 2024
    • 5. Juli 2024
    • 28. Juni 2024
    • 21. Juni 2024
    • 12. November 2023
    • 6. November 2023
    • 30. Oktober 2023
    • 23. Oktober 2023
    • 16. Oktober 2023
    • 18. September 2023
    • 8. September 2023
  • Sicherheit
    • SkyDeck.ai Sicherheitspraktiken
    • Bug-Bounty-Programm
  • KI-Dokumentation
    • LLM-Evaluierungsbericht
    • SkyDeck.ai LLM-fähige Dokumentation
Powered by GitBook
On this page
  • Skalierung von HuggingFace-Endpunkten auf Null
  • Unterstützte Modelle
  1. Integrationen
  2. LLMs und Datenbanken

HuggingFace-Integration

Verwendung von SkyDeck.ai als Frontend für Ihre HuggingFace-Modelle.

PreviousGroq-IntegrationNextMistral-Integration

Last updated 1 month ago

Nachdem Sie Ihren Inferenz-Endpunkt auf HuggingFace bereitgestellt haben, sollten Sie die folgende Benutzeroberfläche sehen:

Auf dieser Seite benötigen Sie die folgenden Informationen:

  • Endpunkt-URL

  • Modell-Repository

  • API-Token. Sie können dies sehen, indem Sie das Kästchen "API-Token hinzufügen" im Codeblock der Beispielaufrufe aktivieren.

Zusätzlich dazu benötigen Sie auch das Kontextfenster Ihres Modells. Dies finden Sie auf der Informationsseite des Modells.

Nachdem Sie diese Informationen gesammelt haben, formatieren Sie sie in JSON wie im folgenden Beispiel:

{
    "api_key":"your_api_key",
    "endpoint": "your_api_endpoint",
    "model_name": "meta-llama/Llama-2-7b-chat-hf",
    "context_window": 4096
}

Fügen Sie dies als Nächstes in das Feld für Anmeldeinformationen Ihrer Integration ein.

Sobald die Anmeldeinformationen erfolgreich validiert wurden, sollten Sie Ihr HuggingFace-Modell in der Modellliste von GenStudio aufgeführt sehen:

Skalierung von HuggingFace-Endpunkten auf Null

Die Skalierung auf 0 ist eine dynamische Funktion, die von Inference Endpoints angeboten wird, um die Ressourcennutzung und Kosten zu optimieren. Durch intelligentes Überwachen von Anforderungsmustern und Reduzierung der Anzahl von Replikaten auf keine während Leerlaufzeiten wird sichergestellt, dass Ressourcen nur dann genutzt werden, wenn sie notwendig sind.

Unterstützte Modelle

Im Moment unterstützen wir nur Endpunkte für Modelle mit einem text-generation Tag, die als text-generation-inference Container bereitgestellt werden. Wir arbeiten daran, unsere Liste der unterstützten Modelle zu erweitern.

Dies führt jedoch zu einer Kaltstartphase, wenn der Verkehr wieder aufgenommen wird, und es gibt einige Überlegungen, die zu bedenken sind. Für einen detaillierten Blick auf die Funktionsweise dieser Funktion, ihre Vorteile und potenzielle Herausforderungen, verweisen Sie bitte auf den .

Leitfaden von HuggingFace zum Autoscaling
LLaMA 2 ist ein Modell mit dem Tag Text Generation
Stellen Sie sicher, dass Sie während der Bereitstellung Text Generation Inference als Container-Typ auswählen
huggingface deploy interface
credential field
huggingface model as genstudio model
image (48)
image (49)