麻豆tv 刘华虓教授指导的2022级博士研究生张梦玺的论文“Towards Testing the Accessibility of Dynamic Visual Changes in Android Mobile GUI with Multi-Modal LLMs”被ACM Transactions on Computer-Human Interaction录用。论文的第一作者为张梦玺，通讯作者为刘华虓教授，其他作者包括2024级硕士研究生于鉴麟、2025级硕士研究生许晨和李纪群、2020级博士研究生阴星龙。

在日常使用移动应用的过程中，用户的每一次点击、滑动或输入，都会伴随着图形用户界面（GUI）的持续视觉变化。这些变化通常以颜色、布局或组件外观的方式呈现，用于向用户反馈操作结果、引导任务完成。对于视力正常的用户而言，这类视觉线索直观且高效；然而，对于盲人用户来说，这些关键信息往往无法被屏幕阅读器感知，从而在用户交互中形成显著的可访问性问题。针对这一长期存在但难以系统检测的问题，研究团队提出了一种名为VisualDroid的新方法，利用多模态大语言模型（LLM）对移动应用中动态视觉变化进行自动化测试与分类。该方法通过设计一种定制化的“三跳推理（Three-Hop）”提示框架，引导大模型逐步理解界面状态变化、识别视觉反馈类型，并判断其是否存在潜在的无障碍风险。实验结果表明，VisualDroid在动态视觉变化检测任务中取得了94.7%的F1-score，显著优于现有基线方法，展现出较强的准确性与鲁棒性。进一步地，研究团队在 F-Droid平台选取了五款开源Android应用进行真实场景评估，并将检测结果以问题报告的形式反馈给开发者。

ACM Transactions on Computer-Human Interaction（TOCHI）是人机交互领域的顶级期刊之一（CCF-A，中科院一区），在人机交互领域有着极高的声誉和影响力。这是我校作为第一作者单位在该期刊上发表的首篇论文。同时也是该期刊自创刊以来（1994年），中国大陆高校作为第一单位的第13篇论文。