📄 论文总结
OnGoal：用于大型语言模型多轮对话的目标跟踪与可视化系统
OnGoal: A Goal Tracking and Visualization System for Multi-Turn LLM Conversations
1️⃣ 一句话总结
OnGoal是一个创新的对话界面系统，通过实时目标跟踪、多视图可视化和文本高亮功能，帮助用户更有效地管理和评估与大型语言模型（LLM）的多轮对话目标，减少认知负荷并提升对话效果。
2️⃣ 论文创新点
1. 目标管道（Goal Pipeline）
- 创新点是什么：一个三阶段（推断、合并、评估）的自动化流程，使用独立的LLM（如GPT-4o）实时处理和评估对话目标。
- 与已有方法的区别/改进：替代了传统人工跟踪和事后分析方法，实现了目标的动态管理和系统化评估。
- 为什么有意义：为多轮LLM对话提供了结构化的目标跟踪框架，确保响应与用户目标对齐。
2. 多视图协同可视化设计
- 创新点是什么：结合内联目标符号、进度面板和文本高亮三种视图，分别解决目标解释、时序跟踪和跨消息行为示例问题。
- 与已有方法的区别/改进：各视图互补克服单一视图的局限性（如进度面板汇总时序趋势避免滚动查找），保持了熟悉的线性界面。
- 为什么有意义：全面降低长对话的认知负荷，提升用户对LLM行为的理解和对对话过程的控制力。
3. 内联目标评估可视化
- 创新点是什么：在聊天消息下方显示目标字形，总结推断或评估的目标，颜色编码表示评估结果（绿色确认、红色矛盾、黄色忽略）。
- 与已有方法的区别/改进：提供即时、直观的目标状态反馈，减少用户滚动和解析历史的认知负担。
- 为什么有意义：增强用户对LLM响应如何处理对话目标的理解，支持持续的目标跟踪和透明度（应对C1、C2挑战）。
4. 文本高亮模式
- 创新点是什么：提供三种可切换的高亮模式（关键词短语、相似句子、独特句子），帮助用户快速识别LLM响应中的相关子句和潜在问题行为。
- 与已有方法的区别/改进：通过生成式LLM和提示工程提取关键词短语，使用文本嵌入和余弦相似度计算句子相似性，从而高亮共享和独特的文本部分。
- 为什么有意义：支持大规模LLM响应比较，揭示全局LLM行为（如分散和主题漂移），提升用户感知分析效率和洞察力。
3️⃣ 主要结果与价值
实验结果亮点
- 一项涉及20名参与者的写作任务研究表明，使用OnGoal的参与者花费更少的时间和精力实现目标。
- OnGoal有效支持目标评估和任务成果，帮助用户澄清问题、更新目标并分析对话历史，以更好地与LLM助手沟通。
实际应用价值
- 减少用户在多轮对话中的认知负担，增强参与度和对话韧性，提高LLM对话的效果和用户友好性。
- 提升用户对LLM对话的控制和信心，减少沟通崩溃，为写作任务等应用提供一致的目标支持。
4️⃣ 术语表
- OnGoal：一个用于跟踪和可视化多轮对话中会话目标的系统，集成了目标管道和可视化技术，帮助用户管理LLM多轮对话中的目标。
- LLM (Large Language Model)：大型语言模型，能够处理多轮、基于文本的交互，用于生成多轮开放域对话的AI系统。
- Dialogue State Tracking (DST)：对话状态跟踪，用于建模用户目标和跟踪对话状态，通常在事后分析中作为分类任务使用。
- Sensemaking：意义建构，指用户在多轮对话中理解和解释LLM响应、跟踪目标进展的认知过程。
- Goal Pipeline：三阶段目标处理流水线，包括推断（Infer）、合并（Merge）和评估（Evaluate）步骤。
- Conversational Goals：用户提出的问题、请求、提供或建议，需要LLM按轮次顺序回应。
- Goal Glyphs：显示在聊天消息下方的内联视觉元素，用于总结推断或评估的目标，颜色编码表示评估结果（绿色确认、红色矛盾、黄色忽略）。
- Progress Panel：位于聊天界面侧边的外联面板，包含目标、时间线和事件标签，用于跟踪、控制目标并可视化管道事件历史。
- 文本高亮 (Text Highlighting)：通过颜色编码和模式高亮（如关键词短语、相似句子和独特句子）来强调LLM响应中的关键部分，辅助用户感知分析。
- GPT-4o：OpenAI的大型语言模型，通过API调用用于对话处理。