SkyDeck.ai Docs
註冊管理員登入聯絡我們
繁體中文
繁體中文
  • SkyDeck.ai
  • GenStudio 工作區
    • 對話
    • SkyDeck AI 助手應用程式
    • 文件上傳
    • 共享與協作
    • Slack 同步
    • 公共快照
    • 網頁瀏覽
    • 工具
      • 配對程式設計師
        • 如何使用
        • 範例 – Python 腳本協助
      • SQL 助手
        • 如何使用
        • 範例 – 查詢除錯
      • 法律協議審查
        • 如何使用
        • 範例 – NDA 條款
      • 教我任何事
        • 如何使用
        • 範例 – 程式設計入門
      • 策略顧問
        • 如何使用
        • 範例 – 員工留任
      • 圖像生成器
        • 如何使用
        • 範例 – 冬季仙境
    • 數據安全
      • 數據丟失防護
  • 控制中心
    • 管理員與擁有者工具
    • 設置指南
      • 設置帳戶
      • 設置整合
        • 整合協助
      • 設置安全性
        • 身份驗證 (SSO)
      • 組織團隊
        • 新增群組
        • 移除群組
      • 策劃工具
        • 系統工具
        • 分配標籤
      • 管理成員
        • 新增成員
        • 導入文件
        • 邀請成員
        • 編輯成員
    • 計費
      • 免費試用
      • 購買信用
      • 計劃與升級
      • 模型使用價格
  • 整合
    • LLMs 和數據庫
      • Anthropic 整合
      • 數據庫整合
      • Groq 整合
      • HuggingFace 整合
      • Mistral 整合
      • OpenAI 整合
      • Perplexity 整合
      • Together AI 整合
      • Vertex AI 整合
    • 應用整合
      • Rememberizer 整合
      • Slack 整合
  • 開發者
    • 開發自己的工具
      • 工具的 JSON 格式
      • LLM 工具的 JSON 格式
      • 範例:基於文本的 UI 生成器
      • 智能工具的 JSON 格式
  • 使用案例
    • 創建隱私政策
  • 通知
    • 使用條款
    • 隱私政策
    • Cookie 通知
  • 版本
    • 2025 年 5 月 30 日
    • 2025 年 5 月 23 日
    • 2025 年 5 月 16 日
    • 2025 年 5 月 9 日
    • 2025 年 5 月 2 日
    • 2025 年 4 月 25 日
    • 2025 年 4 月 18 日
    • 2025 年 4 月 11 日
    • 2025 年 4 月 4 日
    • 2025 年 3 月 28 日
    • 2025 年 3 月 21 日
    • 2025 年 3 月 14 日
    • 2025 年 3 月 7 日
    • 2025 年 2 月 28 日
    • 2025 年 2 月 21 日
    • 2025 年 2 月 14 日
    • 2025 年 2 月 7 日
    • 2025 年 1 月 31 日
    • 2025 年 1 月 24 日
    • 2025 年 1 月 17 日
    • 2025 年 1 月 10 日
    • 2025 年 1 月 3 日
    • 2024 年 12 月 27 日
    • 2024 年 12 月 20 日
    • 2024 年 12 月 13 日
    • 2024 年 12 月 6 日
    • 2024 年 11 月 29 日
    • 2024 年 11 月 22 日
    • 2024 年 11 月 15 日
    • 2024 年 11 月 8 日
    • 2024 年 11 月 1 日
    • 2024 年 10 月 25 日
    • 2024 年 10 月 18 日
    • 2024 年 10 月 11 日
    • 2024 年 10 月 4 日
    • 2024 年 9 月 27 日
    • 2024 年 9 月 20 日
    • 2024 年 9 月 13 日
    • 2024 年 9 月 6 日
    • 2024 年 8 月 23 日
    • 2024 年 8 月 16 日
    • 2024 年 8 月 9 日
    • 2024 年 8 月 2 日
    • 2024 年 7 月 26 日
    • 2024 年 7 月 12 日
    • 2024 年 7 月 5 日
    • 2024 年 6 月 28 日
    • 2024 年 6 月 21 日
    • 2023 年 11 月 12 日
    • 2023 年 11 月 6 日
    • 2023 年 10 月 30 日
    • 2023 年 10 月 23 日
    • 2023 年 10 月 16 日
    • 2023 年 9 月 18 日
    • 2023 年 9 月 8 日
  • 安全性
    • SkyDeck.ai 安全實踐
    • 漏洞獎勵計劃
  • AI 文檔
    • LLM 評估報告
    • SkyDeck.ai LLM 準備文檔
Powered by GitBook
On this page
  1. AI 文檔

LLM 評估報告

PreviousAI 文檔NextSkyDeck.ai LLM 準備文檔

Last updated 3 days ago

模型
日期
總回應時間 (秒)
通過測試數
平均 CodeBLEU (0-1)
平均有用性評分 (0-4)
平均功能正確性評分 (0-4)

claude-opus-4-20250514

2025-05-27

682.341

45

0.373498

3.68902

3.71951

claude-sonnet-4-20250514

2025-05-27

685.546

112

0.317174

3.7378

3.65854

claude-3-7-sonnet-20250219

2025-05-27

746.497

108

0.319258

3.65244

3.65244

claude-3-5-sonnet-20241022

2025-05-27

445.549

114

0.332094

3.65244

3.72561

gpt-4.1

2025-05-27

340.45

114

0.345565

3.71951

3.79878

o4-mini

2025-05-27

1380.26

128

0.322408

3.70122

3.7439

o3

2025-05-27

1592.45

141

0.314449

3.71341

3.85366

gpt-4o

2025-05-27

254.478

123

0.305002

3.70732

3.7378

gemini_gemini-2.0-flash

2025-05-27

428.324

102

0.304022

3.65244

3.60976

gemini_gemini-2.5-pro-preview-05-06

2025-05-27

1317.42

71

0.319577

2.45732

2.67683

gemini_gemini-2.5-flash-preview-05-20

2025-05-27

1042.03

108

0.32728

3.39024

3.46341

總回應時間 (秒): 模型生成所有輸出的總時間。

通過測試數: 模型在評估期間通過的單元測試數量,總共 164 個測試。

平均 : 平均 CodeBLEU 分數,評估基於語法和語義正確性的代碼生成質量的指標。

平均 : 模型輸出有用性的平均評分,由 LLM 模型評定。

  • 0: 片段完全無幫助,與問題無關。

  • 1: 片段稍微有幫助,包含與問題相關的信息,但從頭開始寫解決方案更容易。

  • 2: 片段有些有幫助,需要進行重大更改(與片段的大小相比),但仍然有用。

  • 3: 片段有幫助,但需要稍微改變以解決問題。

  • 4: 片段非常有幫助,解決了問題。

  • 0(未通過所有可能的測試): 代碼片段完全不正確且毫無意義。

  • 4(通過所有可能的測試): 代碼片段完全正確,能處理所有情況。

平均 : 模型輸出功能正確性的平均分數,評估輸出滿足功能需求的程度,由 LLM 模型評定。

CodeBLEU
有用性評分
功能正確性評分