SOLUTIONS · COCKPIT
智能座舱 — HMI + 语音 + 多模态
座舱 HMI + 语音助手 + 多模态交互的端到端自动化验证。AI 视觉 + AI 音频 + AI 设备控制 + 总线仿真，统一编排。
UI 频繁迭代，传统坐标脚本易失效语音响应非确定性，难以精确比对多屏互动 + 跨能力协同复杂手工录制 + 维护成本高
THREE WAYS TO USE AI
三种典型使用方式
从把 AI 当作"原子动作"，到让 AI 主导对话驱动测试 — 工程师按场景灵活组合
01
AI 步骤
原子能力作为测试动作
在序列中直接调用 AI 能力，作为单步动作
- DEVICE_CONTROL: AI Interact("打开空调并设置主驾温度为 26 度")
- VISION: AI_analyze("空调温度是多少？")
- AUDIO: AI_verify_response("是否告知温度？")
02
AI 录屏
人操作 → 自动序列
录屏 + AI 理解用户意图，自动生成可回放的测试序列
- 不会写测试代码的人也能贡献用例
- AI 探索操作意图，自动生成 UI 操作
- 后续不依赖 LLM，更具确定性
03
AI 对话
对话驱动多步任务
一句话下达任务，AI 自主完成截图 → 理解 → 操作 → 验证闭环
- 发送 CAN 报文（如打开转向灯）
- 大屏操作进入指定界面 / 菜单
- 截屏 + 图片比对校验 + 音频播放
AI CAPABILITIES IN COCKPIT
AI 是能力，不是流程
工程师组合 AI 步骤与常规步骤，按场景灵活编排
AI 视觉验证
截图 + 问题 → AI 理解界面内容
适合：非确定性 UI 的语义验证AI 探索操作
自然语义 → AI 理解界面并自动操作车机
适合：元素视觉变化大、无法固化的序列AI 语义对比
两张截图过滤无意义差异
适合：版本迭代的回归对比AI 响应验证
录音 → ASR → 语义匹配
适合：语音助手的意图级验证