SEMANTIC DIRECTORY · plugin-directory-semantic-v3-18
智能体与插件基准评测
定义任务或基准，对智能体、技能、提示词、模型、插件候选进行多次可复现运行、评分、A/B 或 Pareto 对比及基线回归；不承担一般软件功能测试。
叶子目录成员
14 个插件
caliperedonadei/caliper目录 已分析Run your real agent with and without your skills, MCPs, and rules. See which ones actually help, and what they cost in tokens. Supports Claude Code, Codex, Pi, and Hermes.兼容性DSH 0.1.2-rc.1 · web依赖审计未测试制品未解析证据更新2026-09-10公开信号50 starsdsh-agent-evaldmsobtl/dsh-agent-eval目录 已分析DSH 插件：Agent 能力评估框架 — 定义任务、跑 benchmark、评分、跟踪改进。兼容性DSH 0.1.2-rc.1 · web依赖审计未测试制品未解析证据更新2026-09-10公开信号0 starsdsh-agent-evalShawnSiao/dsh-agent-eval目录 已分析Planned repeatable agent and plugin regression evaluation for DeepSeek Harness兼容性DSH 0.1.2-rc.1 · web依赖审计未测试制品未解析证据更新2026-09-10公开信号1 starsDSH-arenaApageoflove/DSH-arena目录 已分析Local-first experiment and evaluation workbench plugin for DeepSeek Harness (DSH).兼容性DSH 0.1.2-rc.1 · web依赖审计未测试制品未解析证据更新2026-09-10公开信号4 starsdsh-benchupMuredsa/dsh-benchup目录 已分析Install with npm i dsh-benchup. Reproducible, profile-aware benchmarks for DeepSeek Harness — compare models, plugins, prompts, and agent strategies.兼容性DSH 0.1.2-rc.1 · web依赖审计未测试制品未解析证据更新2026-09-10公开信号0 starsdsh-evalCatheadOwl/dsh-eval目录 已分析Agent eval framework over dsh headless runs: case runner, session-trace assertions, and a scripted mock-LLM layer for plugin intent tests.兼容性DSH 0.1.2-rc.1 · web依赖审计未测试制品未解析证据更新2026-09-10公开信号0 starsdsh-evaldsh-eval目录 已分析Agent evaluation platform: benchmark YAML, headless run orchestration, trace-based metrics, and run reports兼容性DSH 0.1.2-rc.1 · web依赖审计未测试制品0.3.0证据更新2026-09-09公开信号173 downloadsdsh-eval-harnessBiBoyang/dsh-eval-harness目录 已分析DSH 插件评测框架：YAML 用例驱动真实 headless agent，断言工具调用/参数/返回与 token 用量，baseline 门禁做 CI 回归。兼容性DSH 0.1.2-rc.1 · web依赖审计未测试制品未解析证据更新2026-09-10公开信号14 starsdsh-eval-infraTT-Wang/dsh-eval-infra目录 已分析Paired A/B evaluation infrastructure for DeepSeek Harness (dsh) components: interleaved repeated runs through the real runtime, verifier self-checks, one-variable arms, regression gating, cache- and calendar-aware cost, CLI + web UI兼容性DSH 0.1.2-rc.1 · web依赖审计未测试制品未解析证据更新2026-09-10公开信号1 starsdsh-evidence-arenadsh-evidence-arena目录 已分析Evidence-first multi-model coding comparison workbench for DeepSeek Harness兼容性DSH 0.1.2-rc.1 · web依赖审计有限审计报告 0 项制品0.1.0证据更新2026-09-08公开信号381 downloadsdsh-evolution-consoleyu-xin-c/dsh-evolution-console目录 已分析Offline evaluation and guarded self-evolution loop for DeepSeek Harness兼容性DSH 0.1.2-rc.1 · web依赖审计未测试制品未解析证据更新2026-09-10公开信号0 starsdsh-llm-verifierWeb0926/dsh-llm-verifier目录 已分析在独立 Git worktree 中运行 3 或 5 个编码智能体候选，用项目命令验证补丁，只对通过者排序，并在应用获胜补丁前要求再次批准。兼容性DSH 0.1.2-rc.1 · web依赖审计未测试制品未解析证据更新2026-09-10公开信号4 starsdsh-plugin-abtestdsh-plugin-abtest目录 已分析Paired experiments and promotion gates for DSH plugins.兼容性DSH 0.1.2-rc.1 · web依赖审计有限审计报告 13 项制品0.1.0证据更新2026-09-08公开信号161 downloadsdsh-profile-labyoung-tim/dsh-profile-lab目录 已分析运行可复现的 DSH Profile 与 Patch 实验，并提供引导式用例构建、断言、Web 对比报告、恢复和策略门禁。兼容性DSH 0.1.2-rc.1 · web依赖审计未测试制品未解析证据更新2026-09-10公开信号3 stars
分类属于公开语义索引事实，不是最终推荐；兼容性、权限与来源证据仍需分别核对。