SEMANTIC DIRECTORY · plugin-directory-semantic-v3-19
智能体与插件基准评测
定义任务或基准，对智能体、技能、提示词、模型、插件候选进行多次可复现运行、评分、A/B 或 Pareto 对比及基线回归；不承担一般软件功能测试。
叶子目录成员
16 个插件
caliperedonadei/caliper目录 已分析Run your real agent with and without your skills, MCPs, and rules. See which ones actually help, and what they cost in tokens. Supports Claude Code, Codex, Pi, and Hermes.兼容性DSH 0.1.6-alpha.2 · web依赖审计未测试制品未解析证据更新2026-09-27公开信号164 starsdsh-agent-evaldmsobtl/dsh-agent-eval目录 已分析DSH 插件：Agent 能力评估框架 — 定义任务、跑 benchmark、评分、跟踪改进。兼容性DSH 0.1.6-alpha.2 · web依赖审计未测试制品未解析证据更新2026-09-27公开信号0 starsdsh-agent-evalShawnSiao/dsh-agent-eval目录 已分析Planned repeatable agent and plugin regression evaluation for DeepSeek Harness兼容性DSH 0.1.6-alpha.2 · web依赖审计未测试制品未解析证据更新2026-09-27公开信号1 starsDSH-arenaApageoflove/DSH-arena目录 已分析DeepSeek Harness 插件：同一个任务下对比多个模型配置，跑完给出 Pareto 排名和实验报告兼容性DSH 0.1.6-alpha.2 · web依赖审计未测试制品未解析证据更新2026-09-27公开信号3 starsdsh-benchupMuredsa/dsh-benchup目录 已分析Install with npm i dsh-benchup. Reproducible, profile-aware benchmarks for DeepSeek Harness — compare models, plugins, prompts, and agent strategies.兼容性DSH 0.1.6-alpha.2 · web依赖审计未测试制品未解析证据更新2026-09-27公开信号0 starsdsh-evalCatheadOwl/dsh-eval目录 已分析Agent eval framework over dsh headless runs: case runner, session-trace assertions, and a scripted mock-LLM layer for plugin intent tests.兼容性DSH 0.1.6-alpha.2 · web依赖审计未测试制品未解析证据更新2026-09-27公开信号0 starsdsh-evaldsh-eval目录 已分析Agent evaluation platform: benchmark YAML, headless run orchestration, trace-based metrics, and run reports兼容性DSH 0.1.6-alpha.2 · web依赖审计未测试制品0.3.0证据更新2026-09-26公开信号173 downloadsdsh-eval-harnessBiBoyang/dsh-eval-harness目录 已分析DSH 插件评测框架：YAML 用例驱动真实 headless agent，断言工具调用/参数/返回与 token 用量，baseline 门禁做 CI 回归。兼容性DSH 0.1.6-alpha.2 · web依赖审计未测试制品未解析证据更新2026-09-27公开信号13 starsdsh-eval-infraTT-Wang/dsh-eval-infra目录 已分析Paired A/B evaluation infrastructure for DeepSeek Harness (dsh) components: interleaved repeated runs through the real runtime, verifier self-checks, one-variable arms, regression gating, cache- and calendar-aware cost, CLI + web UI兼容性DSH 0.1.6-alpha.2 · web依赖审计未测试制品未解析证据更新2026-09-27公开信号1 starsdsh-evidence-arenadsh-evidence-arena目录 已分析Evidence-first multi-model coding comparison workbench for DeepSeek Harness兼容性DSH 0.1.6-alpha.2 · web依赖审计有限审计报告 0 项制品0.1.0证据更新2026-09-25公开信号381 downloadsdsh-evolution-consoleyu-xin-c/dsh-evolution-console目录 已分析Offline evaluation and guarded self-evolution loop for DeepSeek Harness兼容性DSH 0.1.6-alpha.2 · web依赖审计未测试制品未解析证据更新2026-09-27公开信号0 starsdsh-llm-verifierWeb0926/dsh-llm-verifier目录 已分析在独立 Git worktree 中运行 3 或 5 个编码智能体候选，用项目命令验证补丁，只对通过者排序，并在应用获胜补丁前要求再次批准。兼容性DSH 0.1.6-alpha.2 · web依赖审计未测试制品未解析证据更新2026-09-27公开信号3 starsdsh-plugin-abtestdsh-plugin-abtest目录 已分析Paired experiments and promotion gates for DSH plugins.兼容性DSH 0.1.6-alpha.2 · web依赖审计有限审计报告 13 项制品0.1.0证据更新2026-09-23公开信号161 downloadsdsh-plugin-comparedsh-plugin-compare目录 已分析对比已有 DSH 会话，或在两套 Agent Preset 之间运行受控 A/B 试验，展示对齐时间线、配对指标差值、显式验收结果与可导出的报告。兼容性DSH 0.1.6-alpha.2 · web依赖审计有限审计报告 0 项制品0.1.0证据更新2026-09-22公开信号1 stars · 122 downloadsdsh-plugin-litmusdsh-plugin-litmus目录 已分析Automated acceptance testing for DeepSeek Harness plugins: declarative scenarios, isolated runs, assertions and LLM judging.兼容性DSH 0.1.6-alpha.2 · web依赖审计有限审计报告 0 项制品0.1.0证据更新2026-09-24公开信号26 downloadsdsh-profile-labyoung-tim/dsh-profile-lab目录 已分析运行可复现的 DSH Profile 与 Patch 实验，并提供引导式用例构建、断言、Web 对比报告、恢复和策略门禁。兼容性DSH 0.1.6-alpha.2 · web依赖审计未测试制品未解析证据更新2026-09-27公开信号2 stars
分类属于公开语义索引事实，不是最终推荐；兼容性、权限与来源证据仍需分别核对。