文章目录
进行中的研究项目 · 2026 年 8 月阶段记录
SmartFly 围绕一个问题展开：智能体如何利用视觉、气味与风信息，在环境中保持稳定并找到目标？ 项目以 MuJoCo 果蝇飞行仿真为载体，将高层导航策略与冻结的底层飞行控制器结合，探索感知、记忆与行动之间的联系。
研究问题
- 同一套策略能否支持两种导航任务？ 视觉任务提供相对目标信息；视觉—嗅觉任务隐藏源点位置，依靠气味、相对风与视觉进行寻源和避障。目标是让同一 checkpoint 在两类任务中工作。
- 不同视觉先验会带来怎样的表征与行为差异？ 对照可训练 CNN 与使用冻结预训练主干的 FlyVis，在匹配任务与训练预算的条件下分析视觉编码器。
- 怎样区分示例展示与可靠证据？ 稳定飞行回放用于检查闭环行为与实际输入，完整导航能力需要独立测试和多训练种子统计。
当前技术实现
项目基于 Python、PyTorch、Ray RLlib / PPO、MuJoCo 与 dm_control，包含以下部分：
- 多模态观测。 使用双眼视觉、气味与相对风信息。气味分支通过循环网络保留时间信息；多模态任务不向策略提供隐藏源点坐标。
- 分层控制。 高层输出有界的前向速度残差、偏航角速度和垂直速度，经参考轨迹生成器交由冻结的底层控制器执行。
- 逐级训练。 从稳定飞行出发，逐步增加导航距离与树林密度。通过多次阶段评估后再提高难度。
- 视觉表征分析。 代码提供共享刺激库、按完整轨迹分组的探针分析与闭环指标，避免仅凭一段好看的轨迹判断编码器优劣。
底层飞行与 FlyVis 视觉组件使用上游预训练资产；项目不将这些已有模型作为自行从零训练的成果。
已有的稳定飞行回放
本地保存了同一 CNN—RNN 稳定阶段 checkpoint 在两种观测模式下的真实回放。固定 seed 为 83001，两条轨迹均完成约 3 秒的仿真，记录中未出现致命终止。回放同时保存外部相机、三维位置、策略实际双眼输入及高度和速度诊断。
原始项目输出，可点击查看大图。轨迹坐标以厘米计；图中 y/z 轴显示比例被放大，原始坐标未改变。
视觉观测模式
视觉—嗅觉观测模式
这两条固定种子回放不是总体成功率，也不代表完整导航成绩。 图中仍可见高度漂移与速度振荡，保留原始输出，不隐藏波动。以上是对已有实验产物的整理，并非为网页重新训练或重新运行实验所得。
仍待完成的验证
- 完成正式树林场景中的视觉导航与视觉—嗅觉寻源训练及评估。
- 在匹配预算下，完成 CNN—RNN 与 FlyVis—RNN 的多训练种子对照。
- 使用不参与模型选择的独立气味场评估泛化，并结合消融分析检验策略是否真正使用气味信息。
当前气味场是二维近似，不包含树木引起的风和气味尾流，也没有三维浓度结构。CNN 与 FlyVis 的比较还包含视觉预训练先验差异，不能直接归因为连接组拓扑。结论需要限定在实际评估的仿真条件内，不直接外推真实昆虫或机器人。