大语言模型的安卓GUI测试是将大模型作为智能测试大脑来理解和操控手机界面。利用大模型的多模态理解和推理能力，试图突破传统方法在识别意图、动态适应和生成测试预言上的短板。

目前的主要方向：

一、方法分类

1. 根据视觉的端到端测试代理

这类方法直接看屏幕截图，像人类一样操作，不依赖底层视图结构，通用性最强。

代表厂商：

AppAgent（腾讯等）：使用 GPT-4V，通过截图和自动生成的交互文档，模拟人类探索和操作应用。

Mobile-Agent（阿里）：纯视觉方案，利用 OCR 和图标识别来定位和操作界面元素。

CogAgent（智谱等）：专门训练的视觉语言模型，擅长理解 GUI 截图，性能领先。

原理：截图 - 视觉理解（识别元素、状态）- 推理决定（下一步操作）- 执行（点击坐标、滑动等）- 循环。

2. 根据视图方面结构的语义驱动测试

这种方法分析App的UI Hierarchy （XML布局文件） 获取元素属性，让大模型从语义方面做决定，操作更准确。

代表厂商：

DroidBot-GPT：用 GPT 从视图树中挑选重点交互元素，生成类人探索途径。

AutoDroid：结合大模型和 API 知识库，能按任务描述执行复杂操作。

GPTDroid：将 GUI 页面转换为提示词，让大模型生成包括特定功能的测试脚本，并询问正确性。

原理：提取视图树（含 id、text 等）- 转化为结构化文本 - 大模型选择目的元素并生成操作 - 执行。

3. 辅助专项测试

大模型不主导测试，而是作为辅助工具增强传统方法。

智能测试输入生成：根据输入框的语义提示如邮箱，大模型可生成带语境的测试数据，而不是随机字符串。

测试预言生成：大模型能根据界面文本和设计规范，自动判断这个结果是不是合理，如检查下单页面价格是不是计算正确。

Bug报告复现和增强：理解模糊的Bug描述如支付页按钮点不动，自动规划复现步骤，或生成更详细的报告。

二、技术挑战

效率和成本：云端大模型推理延迟高、费用大。前沿方向是研究模型量化、知识蒸馏，以及通过缓存视图树语义来减少调用。

元素定位偏差：即使给出坐标，也可能因系统差别点偏。前沿解法是结合视图树特征进行二次检查，或用专门训练的小模型做精确视觉定位。

上下文窗口限制：应用长流程的状态历史可能超出模型处理上限。解法包括设计记忆模块总结历史，或根据页面图（Page Graph）做分层规划。

测试包括和有效性的平衡：大模型的类人探索可能忽略冷僻角落。前沿方向是将LLM的语义感知和强化学习的包括反馈奖励结合，让探索既智能又全面。

评测标准：目前已有 AndroidWorld、Mobile-Env 等标准环境，可客观测量智能体在真实设备上的任务完成能力。

三、未来趋势

未来该领域将不同于融合和实用化：

多模态深度融合：不再选择视图树或截图其中之一，而是联合两者甚至动态布局信息。

云端大模型和端侧轻模型协同：云端负责复杂规划，端侧小模型执行高频、敏感的即时决定，兼顾智能和隐私。

自进化测试智能体：测试应用的过程中，根据新发现的页面和Bug，在线学习并优化后续方法。

面向非功能属性的测试：将测试范围从功能正确性，扩展到界面的美学一致性、无障碍合规性等更高方面的质量测试。