SkyDeck.ai Docs
Inscreva-seLogin de administradorContate-nos
Português
Português
  • SkyDeck.ai
  • GenStudio Workspace
    • Conversas
    • Aplicativo de Ajuda SkyDeck AI
    • Upload de Documentos
    • Compartilhamento e Colaboração
    • Sincronização com Slack
    • Instantâneas Públicas
    • Navegação na Web
    • Ferramentas
      • Programador em Par
        • Como Usar
        • Exemplo – Assistência com Script Python
      • Assistente SQL
        • Como Usar
        • Exemplo – Depuração de Consulta
      • Revisão de Acordo Legal
        • Como Usar
        • Exemplo – Cláusula de NDA
      • Ensine-me Qualquer Coisa
        • Como Usar
        • Exemplo – Introdução à Programação
      • Consultor de Estratégia
        • Como Usar
        • Exemplo – Retenção de Funcionários
      • Gerador de Imagens
        • Como Usar
        • Exemplo – País das Maravilhas de Inverno
    • Segurança de Dados
      • Prevenção de Perda de Dados
  • Centro de Controle
    • Ferramentas de Admin e Proprietário
    • Guia de Configuração
      • Configurar Conta
      • Configurar Integrações
        • Assistência de Integração
      • Configurar Segurança
        • Autenticação (SSO)
      • Organizar Equipes
        • Adicionar Novo Grupo
        • Remover Grupos
      • Curar Ferramentas
        • Ferramentas do Sistema
        • Atribuir Tags
      • Gerenciar Membros
        • Adicionar Membros
        • Importar Arquivo
        • Convidar Membros
        • Editar Membros
    • Cobrança
      • Teste Gratuito
      • Comprar Crédito
      • Planos e Atualizações
      • Preços de Uso de Modelos
  • Integrações
    • LLMs e Bancos de Dados
      • Integração com Anthropic
      • Integração com Banco de Dados
      • Integração com Groq
      • Integração com HuggingFace
      • Integração com Mistral
      • Integração com OpenAI
      • Integração com Perplexity
      • Integração com Together AI
      • Integração com Vertex AI
    • Integrações de Aplicativos
      • Integração com Rememberizer
      • Integração com Slack
  • Desenvolvedores
    • Desenvolva Suas Próprias Ferramentas
      • Formato JSON para Ferramentas
      • Formato JSON para Ferramentas LLM
      • Exemplo: Gerador de UI Baseado em Texto
      • Formato JSON para Ferramentas Inteligentes
  • Casos de Uso
    • Criando uma Política de Privacidade
  • Avisos
    • Termos de Uso
    • Política de Privacidade
    • Aviso de Cookies
  • Lançamentos
    • 30 de Maio de 2025
    • 23 de Maio de 2025
    • 16 de Maio de 2025
    • 9 de Maio de 2025
    • 2 de Maio de 2025
    • 25 de Abril de 2025
    • 18 de Abril de 2025
    • 11 de Abril de 2025
    • 4 de Abril de 2025
    • 28 de Março de 2025
    • 21 de Março de 2025
    • 14 de Março de 2025
    • 7 de Março de 2025
    • 28 de Fevereiro de 2025
    • 21 de Fevereiro de 2025
    • 14 de Fevereiro de 2025
    • 7 de Fevereiro de 2025
    • 31 de Janeiro de 2025
    • 24 de Janeiro de 2025
    • 17 de Janeiro de 2025
    • 10 de Janeiro de 2025
    • 3 de Janeiro de 2025
    • 27 de Dezembro de 2024
    • 20 de Dezembro de 2024
    • 13 de Dezembro de 2024
    • 6 de Dezembro de 2024
    • 29 de Novembro de 2024
    • 22 de Novembro de 2024
    • 15 de Novembro de 2024
    • 8 de Novembro de 2024
    • 1 de Novembro de 2024
    • 25 de Outubro de 2024
    • 18 de Outubro de 2024
    • 11 de Outubro de 2024
    • 4 de Outubro de 2024
    • 27 de Setembro de 2024
    • 20 de Setembro de 2024
    • 13 de Setembro de 2024
    • 6 de Setembro de 2024
    • 23 de Agosto de 2024
    • 16 de Agosto de 2024
    • 9 de Agosto de 2024
    • 2 de Agosto de 2024
    • 26 de Julho de 2024
    • 12 de Julho de 2024
    • 5 de Julho de 2024
    • 28 de Junho de 2024
    • 21 de Junho de 2024
    • 12 de Novembro de 2023
    • 6 de Novembro de 2023
    • 30 de Outubro de 2023
    • 23 de Outubro de 2023
    • 16 de Outubro de 2023
    • 18 de Setembro de 2023
    • 8 de Setembro de 2023
  • Segurança
    • Práticas de Segurança do SkyDeck.ai
    • Programa de Recompensa por Bugs
  • Documentação de IA
    • Relatório de Avaliação de LLM
    • Documentação Pronta para LLM do SkyDeck.ai
Powered by GitBook
On this page
  • Escalando os Endpoints HuggingFace para Zero
  • Modelos suportados
  1. Integrações
  2. LLMs e Bancos de Dados

Integração com HuggingFace

Usando SkyDeck.ai como a interface para seus modelos HuggingFace.

PreviousIntegração com GroqNextIntegração com Mistral

Last updated 1 month ago

Após implantar seu endpoint de inferência no HuggingFace, você deve ver a seguinte interface do usuário:

Nesta página, você precisará das seguintes informações:

  • URL do Endpoint

  • Repositório do Modelo

  • Token da API. Você pode visualizar isso marcando a caixa "Adicionar token da API" no bloco de código Exemplos de Chamada.

Além disso, você também precisará da janela de contexto do seu modelo. Isso pode ser encontrado na página de informações do modelo.

Após coletar essas informações, formate-as em JSON conforme mostrado no exemplo abaixo:

{
    "api_key":"your_api_key",
    "endpoint": "your_api_endpoint",
    "model_name": "meta-llama/Llama-2-7b-chat-hf",
    "context_window": 4096
}

Em seguida, cole isso no campo de Credenciais da sua integração.

Uma vez que a credencial seja validada com sucesso, você deve ver seu modelo HuggingFace listado na lista de modelos do GenStudio:

Escalando os Endpoints HuggingFace para Zero

A escala para 0 é um recurso dinâmico oferecido pelos Endpoints de Inferência, projetado para otimizar a utilização de recursos e custos. Ao monitorar inteligentemente os padrões de solicitação e reduzir o número de réplicas para zero durante os momentos ociosos, garante que você use os recursos apenas quando necessário.

Modelos suportados

No momento, suportamos apenas endpoints para modelos com a tag text-generation que estão implantados como contêineres text-generation-inference. Estamos trabalhando para expandir nossa lista de modelos suportados.

No entanto, isso introduz um período de arranque a frio quando o tráfego é retomado, e há algumas considerações a se levar em conta. Para um olhar aprofundado sobre como essa característica funciona, seus benefícios e desafios potenciais, por favor, consulte o .

guia do HuggingFace sobre Autoscaling
LLaMA 2 é um modelo com a tag de Geração de Texto
Certifique-se de selecionar Geração de Texto Inference como o tipo de contêiner durante a implantação
interface de implantação do huggingface
campo de credenciais
modelo huggingface como modelo genstudio
image (48)
image (49)