跳到主要内容

Ianvs

Ianvs 是一个由 KubeEdge SIG AI 孵化的分布式协同 AI 基准测试项目。 Ianvs 旨在根据公认的标准测试分布式协同 AI 解决方案的性能，以促进相关工具更快速和有效的发展。具体来说，Ianvs 不仅准备了包含数据集和相应算法的测试用例，还包括模拟和超参数搜索等基准测试工具。Ianvs 还通过排行榜和测试报告等展示工具，为开发人员和最终用户展示最佳实践。

范围​

分布式协同 AI 基准测试 Ianvs 旨在根据公认的标准，测试分布式协同 AI 解决方案的性能，以促进相关工具更快速和有效的发展。

Ianvs 的职责范围包括：

  • 基于典型的分布式协同 AI 范式和应用程序，提供跨设备且覆盖边缘节点和云节点的端到端基准工具包。
    • 用于管理测试环境的工具。例如，支持测试环境中的算法和系统配置的 CRUD（创建、读取、更新和删除）操作。
    • 用于控制测试用例的工具。典型示例包括范式模板、模拟工具和基于超参数的辅助工具。
    • 用于管理基准结果展示的工具，例如排行榜和测试报告生成。
  • 与其他组织或社区合作，例如在 KubeEdge SIG AI 中，建立全面的基准，并开发相关应用程序，这可能包括但不限于
    • 数据集收集、重新组织和发布
    • 正式规范，例如标准
    • 举办比赛或编码活动，例如开源推广计划
    • 为商业用途维护的解决方案排行榜或认证

架构​

下图显示了架构和相关概念。Ianvs 被设计为在单个节点内运行。关键组件包括

  • Test Environment Manager：用于全局使用的测试环境的创建、读取、更新和删除 (CRUD)
  • Test Case Controller：控制测试用例的运行时行为，如实例生成和删除
    • Generation Assistant：帮助用户根据某些规则或约束生成测试用例，例如参数范围
    • Simulation Controller：控制云边协同 AI 工具的模拟过程，包括模拟容器的实例生成和消失
  • Story Manager：测试用例的输出管理和展示，例如排行榜

Ianvs 组件的更多细节：

  1. 测试环境管理器支持测试环境的 CRUD，包括
  • 算法配置
    • 公共数据集
    • 预处理算法
    • 特征工程算法
    • 后处理算法，如指标计算
  • 系统配置
    • 整体架构
    • 系统约束或预算
      • 端到端跨节点
      • 每个节点
  1. 测试用例控制器，包括但不限于以下组件
  • 常见分布式协同 AI 范式的模板，可以帮助开发人员准备他们的测试用例而不需要太多的工作。这些范式包括云边协同推理、增量学习、联邦学习和终身学习。
  • 模拟工具。为测试用例开发的模拟测试环境
  • 其他辅助测试用例生成的工具。例如，根据给定的超参数范围准备测试用例。
  1. 故事管理器，包括但不限于以下组件
  • 排行榜生成
  • 测试报告生成

指南​

文档​

文档位于 readthedoc.io。这些文档可以帮助您更好地了解 Ianvs。