6.23 todo
1. 现在整体上分为结构设计和控制两个部分,然后结构设计的时候其实需要考虑是不是好控制,但现在还暂时没有一个好的控制模型可以给agent做闭环的反馈,所以不如我们先做一些规则化的小验证器给designer提供更丰富一些的语义信息,一类是静态检查器,主要检查是否报错/穿模/冲突啥的...
Embodied Swarm
1. 现在整体上分为结构设计和控制两个部分,然后结构设计的时候其实需要考虑是不是好控制,但现在还暂时没有一个好的控制模型可以给agent做闭环的反馈,所以不如我们先做一些规则化的小验证器给designer提供更丰富一些的语义信息,一类是静态检查器,主要检查是否报错/穿模/冲突啥的...
control部分: - 先尝试最简单的变形任务,批量创建组合体、搜索形状空间、然后构造变形数据 design部分: - 继续完善agent loop,优化prompt和example,尝试更多类型/模态的case - 调研其他模拟生成类任务的评测方法
Arm-bot是我们正在筹备的一种可拆装、异构控制的乐高机器人,由可控制的旋转关节和可变长度的臂组成,我们希望能够实现: 1. 通过NL/多模态等方式创建任意你想要的构型。 2. 对于任意构型我们都能使其具备自动运动的能力。 现在向大家收集生活中所需要的arm-bot构型,比如:...

欢迎大家来玩!

基于Arm-bot,我们能够得到丰富的各类型异构机器人,我们需要一个核心算法来控制这些bot完成各种任务,希望这个算法是: 1.LLM-based,如果没有llm能力可能很难具备好的任务泛化能力 2.swarm,当组合体变得特别大时,中心化的控制算法可能很难实现有效的控制
一个基于api的最简单arm-bot designer,用户给出一个需求,llm designer通过撰写DSL来实现这个结构,然后在mujoco仿真器里面渲染出来,用户可以进一步迭代和优化
在使用过程中观察当前的arm-bot仿真环境有什么问题,尝试做更多优化
使用这个任务收集关于Embodied Swarm的问题、建议、缺陷反馈和改进想法。请清晰描述问题或建议,补充相关背景或链接,并说明期望的改进。
Embodied Swarm已创建。