11.19-4|Claude 3.5，GUI智能体；视频问答大模型，时间定位；1B小语种多语言大模型

原创 胡耀淇 AI研究前瞻 2024年11月19日 08:00 浙江

多语言大模型与视频理解：Claude 3.5，GUI智能体；视频问答大模型，时间定位；1B小语种多语言大模型

The Dawn of GUI Agent: A Preliminary Case Study with Claude 3.5 Computer Use

2024-11-15｜ShowLab, NUS|🔺14

http://arxiv.org/abs/2411.10323v1
https://huggingface.co/papers/2411.10323
https://github.com/showlab/computer_use_ootb

研究背景与意义

随着人工智能的快速发展，自动化桌面任务已经成为提升用户生产力和可访问性的重要研究方向。传统的大型语言模型（LLM）在自动化任务中展示了潜力，但其在实际复杂环境中的应用仍存在局限。Claude 3.5 Computer Use 作为首个提供图形用户界面（GUI）代理的AI模型，标志着该领域的一个重要里程碑。然而，其在真实环境中的能力尚待深入探索。本研究通过精心设计的案例研究，评估了Claude 3.5 Computer Use 在多种桌面环境中的表现，旨在为社区提供有关这些模型能力和局限的宝贵见解。

研究方法与创新

技术描述

本研究采用了Claude 3.5 Computer Use 这一前沿AI模型，通过API调用实现GUI自动化。模型通过纯视觉信息生成动作，不依赖外部知识或GUI解析。研究设计了一系列任务，涵盖了各种软件领域，包括网页搜索、专业工具和游戏，以反映不同用户群体的需求。

突出创新

1. 纯视觉GUI交互：模型通过观察实时截图与GUI状态交互，无需HTML元数据，这大大增强了其适应各种封闭源软件的能力。

2. 综合评估框架：研究提出了一个跨平台、无Docker的GUI代理框架，使得在Windows和macOS上本地部署和基准测试GUI自动化模型成为可能。

3. 多维度评估：模型在规划、动作和批判三个维度上进行了严格评估。规划维度评估模型从用户查询生成可执行计划的能力；动作维度评估模型准确交互GUI元素的能力；批判维度评估模型对环境变化的适应能力。

解释优势

1. 灵活性：通过纯视觉交互，模型能够处理各种动态和复杂的GUI环境，极大地扩展了其应用范围。

2. 易于部署：研究提出的无Docker框架使得在不同操作系统上部署和测试模型变得更加简便，提高了GUI自动化研究领域的可访问性。

对比现有

与以往依赖外部知识和GUI解析的模型不同，Claude 3.5 Computer Use 提供了一种更直接、更灵活的解决方案。其纯视觉交互方式不仅提高了模型的通用性，还减少了对特定软件API的依赖。此外，无Docker代理框架的引入，也降低了研究人员和开发者在本地环境中测试和基准测试这些模型的技术门槛。

讨论理论基础

本研究基于ReAct（Reasoning and Acting）范式，模型通过观察环境进行推理和行动，确保每一步动作的适当性。不同于传统的连续观察模式，Claude 3.5 Computer Use 采用了一种选择性观察策略，仅在必要时监控GUI状态，从而减少了不必要的计算开销，加速了整体过程。

实验设计与结果分析

描述实验

研究设计了20个涵盖不同软件和网站的任务，包括网页搜索、工作流和视频游戏等领域。实验在Windows和macOS平台上通过提出的无Docker框架进行，以确保模型的跨平台能力。

分析结果

模型在网页搜索任务中展示了强大的规划和动作生成能力。例如，在“在亚马逊上找到ANC耳机，预算100美元以下”的任务中，模型成功地搜索并添加了符合条件的产品到购物车。在工作流任务中，模型展示了其在多应用环境中协调和传输数据的能力，如在Apple Music中查找最新音乐并添加到指定播放列表。

对比基准

研究通过人工评估和基准测试对模型进行了全面评估，结果表明模型在多个维度上均表现出色。例如，在网页搜索任务中，模型成功完成了18个任务，成功率达90%。在工作流和办公生产力任务中，模型也展示了较高的完成率和准确性。

统计显著

通过严格的统计分析，研究验证了模型在不同任务和环境中的表现具有显著的统计意义。例如，在网页搜索任务中，模型的成功率显著高于基准模型，表明其在复杂GUI环境中的优越性。

多场景表现

模型在多种场景中均表现出色，涵盖了网页搜索、工作流和视频游戏等多个领域。其在不同软件和网站上的成功应用，展示了其广泛的适用性和灵活性。

结论与展望

总结贡献

本研究对Claude 3.5 Computer Use 进行了全面的案例研究，评估了其在真实桌面环境中的能力和局限。研究贡献包括：

1. 提出了一个综合案例研究，涵盖了多种桌面任务和软件领域。

2. 引入了一个无Docker的跨平台代理框架，方便研究人员和开发者部署和基准测试GUI自动化模型。

3. 通过人工评估和深入分析，展示了模型在API基GUI自动化中的 advancements 和局限。

分析局限

尽管模型在多个任务中表现出色，但仍存在一些局限。例如，模型在处理需要滚动导航的网页任务时，偶尔会出现定位错误。此外，模型在处理需要用户认证的任务时，也表现出一定的不足。

方法展望

未来研究可以进一步优化模型的视觉导航和动作生成能力，特别是在处理动态和复杂GUI环境时。此外，研究还可以探索更多跨平台和跨应用的集成，以进一步提高模型的通用性和可访问性。

Number it: Temporal Grounding Videos like Flipping Manga

2024-11-15｜SEU, MPI-INF, Tencent, UC Berkeley|🔺9

http://arxiv.org/abs/2411.10332v1
https://huggingface.co/papers/2411.10332
https://github.com/yongliang-wu/NumPro

研究背景与意义

视频内容理解在近年来取得了显著进展，尤其是视频大型语言模型（Video Large Language Models, Vid-LLMs）在视频问答对话中的应用。然而，这些模型在需要精确时间定位的任务上，如视频时间定位（Video Temporal Grounding, VTG），依然面临挑战。VTG任务要求模型能够准确识别视频中特定事件的起止时间，而这对于现有的Vid-LLMs来说是一个难以解决的问题。

为了填补这一研究空白，本文提出了一种名为Number-Prompt（NumPro）的新方法。NumPro通过在视频帧上添加唯一的数字标识符，将VTG任务转化为直观的“翻阅漫画”过程，使得Vid-LLMs能够将视觉内容与时间信息直接关联，从而有效解决时间定位问题。该方法不仅提高了现有Vid-LLMs在VTG任务上的性能，而且无需额外的计算成本或模型架构修改。

研究方法与创新

方法概述

NumPro的核心思想是通过在视频帧上添加数字提示（Number-Prompt），将每个视频帧赋予一个唯一的数字标识符。这使得Vid-LLMs能够通过识别这些数字来直接关联视频帧与其对应的时间信息。具体而言，NumPro利用了Vid-LLMs内置的光学字符识别（OCR）能力，使得模型能够“读取”视频的时间线，从而将视觉识别转化为语言描述。

技术细节

1. 数字提示设计：NumPro的设计包括字体大小、颜色和位置的优化选择，以确保数字标识符的可见性而不干扰视频的主要视觉内容。通过在COCO数据集上的实验，确定了最优的数字提示设计为：字体大小40，颜色红色，位置右下角。

2. 训练与应用：NumPro可以在无训练（training-free）和微调（fine-tuned）两种设置下应用。在无训练设置下，直接在视频帧上添加数字提示，使Vid-LLMs能够定位事件的时间边界。在微调设置下，通过在一个NumPro增强的数据集上进行微调，进一步提升Vid-LLMs的VTG性能。

3. 优势：NumPro的优势在于其简单而有效，无需额外的训练成本或模型架构修改，即可显著提升Vid-LLMs在VTG任务上的性能。此外，NumPro具有广泛的适用性和可扩展性，能够应用于多种Vid-LLMs。

创新点

1. 数字提示的引入：NumPro首次提出通过在视频帧上添加数字标识符来增强Vid-LLMs的时间定位能力，这在现有研究中是前所未有的。

2. 无训练成本的增强：NumPro能够在无训练设置下显著提升Vid-LLMs的VTG性能，使其成为一种“免费午餐”式的增强方法。

3. 广泛适用性：NumPro适用于多种Vid-LLMs，并且在封闭源和开源模型上均表现出色，具有广泛的适用性和可扩展性。

实验设计与结果分析

实验设计

本文在两个VTG任务上评估了NumPro的性能：时刻检索（Moment Retrieval）和亮点检测（Highlight Detection）。使用Charades-STA和ActivityNet数据集进行评估，并采用多种评价指标，包括平均交并比（mIoU）、召回率（R@m）和平均精度（mAP）等。

结果分析

1. 时刻检索任务：NumPro在无训练设置下显著提升了Vid-LLMs的 moment retrieval性能，超越了现有的SOTA方法。例如，在Charades-STA数据集上，NumPro使Qwen2-VL-7B的mIoU提升了24.7%。在微调设置下，NumPro-FT进一步提升了性能，超越了所有现有的SOTA方法。

2. 亮点检测任务：NumPro在无训练设置下使GPT-4o和Qwen2-VL-7B的mAP分别提升了1.55%和1.6%。在微调设置下，NumPro-FT使LongVA-7B-DPO的mAP提升了8.5%，HIT@1提升了3.7%。

3. 定性分析：通过可视化分析，NumPro在处理具有最小场景变化和频繁场景变化的视频时，均能准确识别事件的起止时间，表现出优异的鲁棒性和精确性。

4. 消融实验：实验验证了NumPro设计选择的有效性，包括字体大小、颜色和位置的选择均对VTG性能有显著影响。最优设计为字体大小40，颜色红色，位置右下角。

结论与展望

总结贡献

本文提出了一种简单而有效的NumPro方法，通过在视频帧上添加数字提示来增强Vid-LLMs的时间定位能力。NumPro在无训练和微调两种设置下均显著提升了Vid-LLMs在VTG任务上的性能，并在多个VTG任务和数据集上达到了SOTA水平。

分析局限

尽管NumPro在VTG任务上表现出色，但仍存在一些局限性。首先，NumPro依赖于Vid-LLMs的内置OCR能力，对于OCR能力较弱的模型，其增强效果可能有限。其次，NumPro在处理极长视频时，可能需要进一步优化数字提示的采样策略以提升性能。

方法展望

未来工作可以从以下几个方面展开：

1. 优化采样策略：进一步研究不同采样策略对NumPro性能的影响，以适应不同长度和类型的视频。

2. 扩展应用场景：探索NumPro在其他视频理解任务中的应用，如视频摘要和视频推荐等。

3. 结合其他提示方法：结合其他视觉提示方法，如区域提示和语义掩码，进一步提升Vid-LLMs的综合视频理解能力。

Xmodel-1.5: An 1B-scale Multilingual LLM

2024-11-15｜Xiaoduo Technology, CU|🔺7

http://arxiv.org/abs/2411.10083v1
https://huggingface.co/papers/2411.10083
https://github.com/XiaoduoAILab/

研究背景与意义

在全球化快速发展的背景下，跨语言的自然语言处理（NLP）需求日益增加。传统NLP模型在处理小语种和资源较少的语言时表现欠佳，这限制了其在全球范围内的应用。为了应对这一挑战，Xiaoduo Technology开发了Xmodel-1.5，这是一个拥有10亿参数的多语言大型语言模型。该模型不仅在中文和英语等广泛使用的语言上表现出色，还在泰语、阿拉伯语和法语等语言中展示了顶级的性能。此外，研究团队还开源了一个泰语评估数据集，为多语言AI研究提供了宝贵的资源。Xmodel-1.5的研究不仅推动了多语言AI的发展，还促进了各种NLP任务中的跨语言理解。

研究方法与创新

数据来源与预处理

Xmodel-1.5的训练数据主要来自MultilangWiki和CulturaX，涵盖了30种语言，并特别关注低资源语言如蒙古语、缅甸语、尼泊尔语、高棉语、塞尔维亚语和泰米尔语。为了确保数据质量，研究团队采用了SimHash去重技术处理Wiki数据，而CulturaX数据保持不变。此外，为了提升模型在中文方面的表现，研究团队还引入了PTD和WanJuan等特定领域的数据，并在退火阶段进行了精细调整。

标记器设计

Xmodel-1.5使用了基于Sentence-Piece的unigram标记器，词汇量为65,280个标记。选择unigram方法而非常用的BPE方法，是因为unigram在处理罕见和低频标记时更具灵活性，且训练速度更快。标记器的设计经过多次迭代，最终版本在语言覆盖、表示能力和数据处理效率之间取得了良好平衡。

模型架构与训练

Xmodel-1.5采用了Rotary Positional Embedding（RoPE）技术，并在每层网络中集成。为了提升模型对长文本的理解能力，研究团队将RoPE基数从10,000调整为500,000。此外，模型还采用了RMSNorm、SwiGLU激活函数和Grouped-query attention（GQA）等技术，以优化性能和训练效率。

训练过程中，研究团队使用了7块H800 GPU，通过DDP和FlashAttention-V2技术提升了训练效率。训练配置包括批次大小为4，累积梯度步骤为30，全局批次大小为840，序列长度为4096。整个训练过程持续了600,000次迭代，总计处理了2.064万亿个标记。

理论基础与优势

Xmodel-1.5在多语言能力和代码生成任务上表现出色，得益于其精心设计的标记器和高效的训练方法。与其他类似规模的模型相比，Xmodel-1.5在压缩率和语言覆盖方面具有显著优势。

实验设计与结果分析

实验描述

为了评估Xmodel-1.5的性能，研究团队选择了多个基准模型，包括OPT、Pythia、TinyLLaMA、MobileLLaMA、InternLM2和Qwen2.5。评估任务包括常识推理任务（如ARC、Boolq、HellaSwag、OpenBookQA等）和多语言能力评估。

结果分析

在常识推理任务中，Xmodel-1.5在多个评估指标上表现优异，尤其在TinyLLaMA等模型中脱颖而出。在多语言能力评估中，Xmodel-1.5在中文翻译版ARC数据集、XCOPA、PIQA_AR、Belebele_tha_thai和mMMLU等任务中展示了强劲的表现，超越了PolyLM-1.7B等模型。

多场景表现

Xmodel-1.5在多语言和多任务场景中表现一致，展示了其在不同语言和任务类型中的广泛适用性。研究团队还与朱拉隆功大学合作，开发了一个包含359个样本的泰语评估集，以更精确地测量模型在低资源语言中的表现。

结论与展望

总结贡献

Xmodel-1.5是一个具有10亿参数的多语言大型语言模型，展示了在泰语、阿拉伯语、法语及其他多种语言中的优异性能。其开源的泰语评估数据集为多语言AI研究提供了重要资源。Xmodel-1.5的研究不仅推动了多语言AI的发展，还促进了跨文化交流的提升。

分析局限

尽管Xmodel-1.5在多语言任务中表现优异，但仍有提升空间。例如，模型在处理特定语言的俚语、性别区分和正式/非正式语气等方面仍有待改进。

方法展望

未来的研究可以进一步优化标记器设计和训练方法，以提升模型在更多语言和任务中的表现。此外，探索更多低资源语言的数据集和任务类型，也将是多语言AI研究的重要方向。

Xmodel-1.5在多语言NLP任务中展示了显著的潜力和优势，其优异的性能和广泛的适用性为多语言AI研究提供了新的契机。希望这一工作能为多语言AI的持续发展做出贡献，并促进跨语言理解的进一步提升。