Tích hợp HuggingFace

Sử dụng SkyDeck.ai làm giao diện cho các mô hình HuggingFace của bạn.

Sau khi triển khai điểm cuối suy diễn của bạn trên HuggingFace, bạn sẽ thấy giao diện người dùng sau:

Trên trang này, bạn sẽ cần thông tin sau:

URL điểm cuối
Kho mô hình
Mã thông báo API. Bạn có thể xem điều này bằng cách đánh dấu ô "Thêm mã thông báo API" trong khối mã Ví dụ Gọi.

Ngoài những điều này, bạn cũng sẽ cần cửa sổ ngữ cảnh của mô hình của bạn. Điều này có thể được tìm thấy trên trang thông tin của mô hình.

Sau khi thu thập thông tin này, định dạng nó thành JSON như trong ví dụ dưới đây:

{
    "api_key":"your_api_key",
    "endpoint": "your_api_endpoint",
    "model_name": "meta-llama/Llama-2-7b-chat-hf",
    "context_window": 4096
}

Tiếp theo, dán điều này vào trường Thông tin xác thực của bạn.

Khi thông tin xác thực được xác thực thành công, bạn sẽ thấy mô hình HuggingFace của mình được liệt kê trong danh sách mô hình của GenStudio:

Mở rộng các Điểm Cuối HuggingFace về 0

Mở rộng về 0 là một tính năng động được cung cấp bởi các Điểm Cuối Dự Đoán, được thiết kế để tối ưu hóa việc sử dụng tài nguyên và chi phí. Bằng cách theo dõi thông minh các mẫu yêu cầu và giảm số lượng bản sao xuống không trong thời gian nhàn rỗi, nó đảm bảo rằng bạn chỉ sử dụng tài nguyên khi cần thiết.

Tuy nhiên, điều này cũng tạo ra một khoảng thời gian khởi động lạnh khi lưu lượng truy cập trở lại, và có một vài điều cần lưu ý. Để tìm hiểu sâu hơn về cách tính năng này hoạt động, lợi ích của nó và những thách thức tiềm năng, vui lòng tham khảo hướng dẫn của HuggingFace về Tự Động Mở Rộng.

Các mô hình được hỗ trợ

Hiện tại, chúng tôi chỉ hỗ trợ các điểm cuối cho các mô hình có thẻ text-generation được triển khai dưới dạng các container text-generation-inference. Chúng tôi đang làm việc để mở rộng danh sách các mô hình được hỗ trợ.

Last updated 7 days ago