تكامل HuggingFace

بعد نشر نقطة النهاية للاستدلال الخاصة بك على HuggingFace، يجب أن ترى واجهة المستخدم التالية:

في هذه الصفحة، ستحتاج إلى المعلومات التالية:

• عنوان URL لنقطة النهاية

• مستودع النموذج

• رمز API. يمكنك عرض هذا من خلال التحقق من مربع "إضافة رمز API" في كتلة كود أمثلة الاستدعاء.

بالإضافة إلى ذلك، ستحتاج أيضًا إلى نافذة السياق لنموذجك. يمكن العثور على ذلك في صفحة معلومات النموذج.

بعد جمع هذه المعلومات، قم بتنسيقها في JSON كما هو موضح في المثال أدناه:

{
    "api_key":"your_api_key",
    "endpoint": "your_api_endpoint",
    "model_name": "meta-llama/Llama-2-7b-chat-hf",
    "context_window": 4096
}

بعد ذلك، الصق هذا في حقل الاعتماد الخاص بتكامل الخاص بك.

بمجرد التحقق بنجاح من الاعتماد، يجب أن ترى نموذج HuggingFace الخاص بك مدرجًا في قائمة نماذج GenStudio:

تصغير نقاط نهاية HuggingFace إلى الصفر

تصغير إلى 0 هو ميزة ديناميكية يقدمها نقاط النهاية للتوقعات، مصممة لتحسين استخدام الموارد والتكاليف. من خلال مراقبة أنماط الطلب بذكاء وتقليل عدد التكاثرات إلى لا شيء خلال الأوقات الخاملة، فإنه يضمن أنك تستخدم الموارد فقط عند الضرورة.

ومع ذلك، يُدخل هذا فترة بداية باردة عند استئناف حركة المرور، وهناك عدد قليل من الاعتبارات التي يجب أن تكون على علم بها. للإطلاع على نظرة معمقة حول كيفية عمل هذه الميزة، فوائدها، والتحديات المحتملة، يرجى الرجوع إلى دليل HuggingFace حول التحجيم التلقائي.

النماذج المدعومة

في الوقت الحالي، نحن ندعم فقط نقاط النهاية للنماذج التي تحمل علامة text-generation والتي تم نشرها كحاويات text-generation-inference. نحن نعمل على توسيع قائمة النماذج المدعومة لدينا.