📄 论文总结
Morae：一种支持盲人和低视力用户在UI自动化中主动表达偏好的可访问代理系统
Morae: An Accessible UI Agent for Blind and Low-Vision Users with Proactive Preference Elicitation
1️⃣ 一句话总结
Morae是一个专为盲人和低视力用户设计的UI自动化代理，它通过动态验证模糊选择、主动暂停自动化流程并请求用户澄清偏好，显著提升了任务完成准确性和用户控制感。
2️⃣ 论文创新点
1. 动态模糊选择验证机制
- 创新点是什么：系统在自动化过程中主动检测潜在歧义点，生成内部澄清问题，并在需要用户输入时暂停自动化，提示用户进行选择澄清。
- 与已有方法的区别/改进：解决了传统UI代理在模糊选择时任意选择选项而不提供用户选择权的问题。
- 为什么有意义：显著提高了任务成功率，使用户能够更清晰地表达偏好，增强了对自动化过程的控制感。
2. 生成式交互界面
- 创新点是什么：动态生成可访问的交互式UI组件（如下拉菜单、数字选择器），使用户能够在自动化继续前明确指定选择。
- 与已有方法的区别/改进：提供了比纯文本交互更直观和可访问的用户偏好表达方式。
- 为什么有意义：支持屏幕阅读器用户，提高了交互的包容性和效率。
3. 实时多模态反馈系统
- 创新点是什么：为屏幕阅读器用户提供与每个代理动作同步的实时音频反馈（点击声、打字声、提示音）和视觉验证选项。
- 与已有方法的区别/改进：增强了用户对代理动作的跟踪和错误检测能力，超越了传统自动化工具的单一反馈模式。
- 为什么有意义：提高了盲人和低视力用户对自动化过程的感知和控制，减少了潜在错误。
4. 个性化屏幕阅读器指令集成
- 创新点是什么：将用户调查中获取的屏幕阅读器选择直接嵌入模型提示中，生成针对特定屏幕阅读器（如NVDA）的详细操作指令。
- 与已有方法的区别/改进：改进了通用指令的生成方式，使其能提供精确的、与用户辅助技术相匹配的交互步骤。
- 为什么有意义：显著提升了盲人或低视力用户与UI交互的可访问性和操作效率，提供了真正个性化的指导。
3️⃣ 主要结果与价值
实验结果亮点
- 在真实网页任务中帮助BLV用户完成了比现有UI代理（如OpenAI Operator）更多的任务
- 模型在区分查询类别任务上达到96%的准确率，优于传统的单一指令处理方式
- 将任务完成率从25%提升到40%，效率提高5倍
实际应用价值
- 使BLV用户能够有效参与UI自动化过程，做出知情选择
- 增强了系统安全性和用户信任，特别适用于敏感操作
- 支持屏幕阅读器用户，提高了交互的包容性和效率
4️⃣ 术语表
- Morae：一个支持BLV用户主动参与UI自动化的UI代理系统，基于TaxyAI扩展开发，通过动态验证模糊选择机制在决策点暂停。
- BLV：盲人和低视力（Blind and Low-Vision）用户的缩写，是本研究的主要目标用户群体。
- 动态验证模糊选择：Morae的核心机制，内部验证潜在歧义，在需要用户输入时暂停自动化并提示用户澄清。
- TaxyAI：一个开源的、基于浏览器的UI代理，由LLM（如GPT-4）驱动，用于自动化网页任务。
- 简化DOM：通过移除不可见元素和冗余节点，保留交互元素并分配唯一ID处理后的DOM结构。