如何应用AI技术通过图片找bug

新知榜官方账号

2023-08-25 10:17:00

如何应用AI技术通过图片找bug

前言：闲鱼质量团队一直致力于交付高质量的app给用户，当前随着AI技术不断发展，TensorFlow大热，也给测试手段带来了更多种可能，本文接下来给大家介绍AI在闲鱼测试的一点实践：如何应用AI技术通过图片找bug。

模型选型

不需要理解业务就能发现的bug主要有整体页面空白、部分控件显示异常和文本异常这几类。对于整体空白图片，发现它们的共同特征是比较明显：大面积空白或者中心区域报错，所以选择使用TensorFlow搭建的简单CNN模型来识别正常图片和异常图片。对于文本异常这类包含乱码的图片，则是用OCR+LSTM建立了一个简单的汉字识别模型来识别图片中的文本内容后判断是否存在乱码。训练以上模型的样本则来源于bug历史截图和mock的正向数据样本。

模型重训练——提高模型识别准确率

初始模型在训练时样本有限，但随着app不停更新迭代，图片检测样本数量的逐渐增多，会出现某些新页面被错误分类，要解决这类误报问题，亟需加入模型重训练。靠人肉启动模型重训练并替换旧模型成本太高，所以在前端实现了个勾选图片去重训练的入口，通过Jenkins定时任务，读取所有重训练图片并执行重训练脚本，并把旧模型替换成新生成的即可。经过几轮自动迭代后模型识别准确率有大幅提升。

图片处理——提升结果的人工甄别效率

特殊截图

有些截图可能是存在大面积空白，但从业务角度上来说这类图片是正确的，比如搜索中间页。此类若不处理，每次都会被识别为异常图片上报，浪费大家check的时间，若放入模型进行重训练又有导致模型不收敛的风险。为了解决这类图片，维护了一个图库，对模型识别为异常的图片，会与图库中的图片进行对比，如果与图库中任意一张相似度超过设定阈值，即认为该图片可被忽略不用上报。

图片去重

目前遍历截图任务为了保证页面上所有元素都取到，单次遍历任务会至少访问同一个页面两次；同时遍历时，为了方便页面上下文分析，会对点击元素用红框标记。这带来了一个问题：待识别图片集中，同一个页面会有多张重复截图、且同一页面上可能会在不同的地方有红框标记。人工检验大量重复图片识别结果难免视觉疲劳，所以展示去重后的结果可以大大提升人工甄别效率，减少成本。解决办法：图片数量大，且不确定这次遍历截图了多少不同页面时，可以使用层次聚类算法解决这个问题。本文采用的是自底向上的聚类方法，即先将每一张截图分别看成一个簇，然后找出距离最小的两个簇进行合并，不断重复到预期簇或者满足其他终止条件。

实现

计算图片之间的距离：先将图片转换成w*h*3维向量，把向量间的欧式距离作为图片之间的距离，图片越相似，距离越小。
计算簇之间距离的方法：

single：两个簇中距离最近的两个样本的距离作为这簇间的距离
complete：两个簇中距离最远的两个样本的距离作为这簇间的距离
average：两个簇间样本两两距离的平均值，决定，解决个别异常样本对结果对影响，但计算量比较大。
ward：离差平方和，计算公式较复杂，要想了解具体计算公式和其他计算方法见计算簇之间距离的方法。通过尝试后发现ward效果比较好，所以最终选用ward作为计算簇之间距离的方法。

临界距离选择：该值直接影响聚类的效果，临界距离过小，会导致某些相似图片不能聚集到一类，临界距离过大，又会导致不是同一个页面的图片聚在一起，所以如何选一个合适的距离非常重要。实验发现，如果图片被页面异常模型识别为异常图片时，往往这类图片之间的相似性越高，为了不错误聚类不同的异常页面，分别对识别为异常和正常的图片进行聚类，并且异常类的临界距离会设置更小一点。

总结与展望

目前该工具对整体页面异常的识别效果较好，文本异常的识别准确率也在丰富样本的过程中不断提升。接下来我们会集成LabelImg工具，用TensorFlow搭建SSD模型来识别控件异常的图片，此外元素/文字布局错乱等问题页面识别、页面操作预期结果识别也在不断尝试中。使用图片处理和错误识别技术，作为质量保证的一种方法，我们会持续探索下去。

本页网址：https://www.xinzhibang.net/article_detail-10364.html

寻求报道，请

关键词

AI技术图片找bug TensorFlow

分享至微信：

相关工具

原创度和AI内容检测

Winston AI

强大的AI内容检测解决方案

AI Content Detector

Writer推出的AI内容检测工具

GPT Detector

在线检查文本是否由GPT-3或ChatGPT生成

AISEO AI Content Detector

AISEO推出的AI内容检测器

Sapling AI Content Detector

Sapling.ai推出的免费在线AI内容检测工具

机器视觉检测系统的优点及应用

机器视觉检测系统的优点机器视觉检测系统是一种利用计算机视觉技术来对物体进行识别、测量、定位和检测的系统。它通常由图像获取、图像处理、图像分析、结果输出等几个部分组成。机器视觉检测系统的优点主要包括：高效性：视觉检测系统可以快速地检测大量的产品，并且可以持续稳定地工作，大大提高了检测效率。精度高：视觉

分类标签机器视觉检测系统产品质量

11-29 14:02

全新一代神经网络引擎，帮助您解决翻译难题

全新一代神经网络引擎，帮助您解决翻译难题我们提供全新一代神经网络引擎，词汇准确度远胜对手。自由选择翻译适用场景，让翻译恰当得体。最新机器学习训练集合，准确传达原说话者的意境。支持翻译前的多条上下文输入，帮助翻译理解实际对话场景，不会出现翻译错误。我们的神经网络引擎采用最新的机器学习技术，能够提供高准

分类标签翻译神经网络引擎机器学习

11-23 10:11

WPSAI开放邀请体验，助力办公更智能

WPSAI开放邀请体验，助力办公更智能WPSAI是金山办公最近推出的一项新功能，旨在为用户提供智能文档写作、阅读理解和问答、智能人机交互的能力。WPSAI是基于大语言模型的人工智能应用，与WPS其他产品无缝衔接，让用户在办公、写作、文档处理等方面实现更高效、更智能的体验。目前，WPSAI处于邀请体验

分类标签 WPSAI智能文档写作人工智能

11-21 10:11

Ai自动生成PPT

Ai自动生成PPT通过使用Ai自动生成PPT，用户可以直接输入需求和公司信息并选择模板，帮助用户省去排版和润色工作，提高制作效率。目前，WPSai是唯一提供免费注册体验的软件，同时还提供多种模板供用户选择。功能描述用户只需要输入所需文字，即可利用AI进行排版和润色。WPSai提供多种模板供用户选择，

分类标签 AiPPT自动生成

11-21 10:10

机器学习和AI的区别

机器学习和AI的区别近年来，机器学习和人工智能成为了热门话题。但是，这两个概念之间到底有什么区别呢？微软工程师MatVelloso曾发了一条段子，引发了网友的热议。他说：如果使用Python写的，那可能是机器学习，如果使用PPT写的，那可能是AI。这个段子让人捧腹，但也暴露出了机器学习和AI之间的模

分类标签机器学习AIPython

11-19 16:42

AI写作业，抄袭检测软件束手无策

AI写作业，抄袭检测软件束手无策近日，Reddit论坛上一名大学一年级学生的课程论文拿了A——这并不稀奇，但事实上这篇论文是人工智能（AI）花不到20分钟完成的，还通过了机器审查。就在几个月前，AI才作为第一作者发表了一篇学术论文。为什么AI生成的论文不能被机器识别出来？目前的抄袭检测软件一般是通

分类标签 AI写作业抄袭检测软件

11-19 16:41

商汤科技在2019人工智能峰会上发布11款产品，覆盖智慧城市、教育、医疗、零售、AR等五大领域

智慧城市领域商汤发布了四个产品，分别是：智能城市能力基础设施SenseFoundry方舟2.0，SenseNebula，SensePass和SenseStudioAI工具箱。商汤的智慧城市解决方案已经覆盖了31个省市自治区的100多座城市，接入了100000路摄像头。教育领域商汤推出了一系列人工智能

分类标签商汤科技人工智能峰会智慧城市教育医疗零售AR

11-19 16:40

华为：部分媒体所谓“华为将发射1万枚6G移动低轨卫星”纯属造谣

华为：部分媒体所谓“华为将发射1万枚6G移动低轨卫星”纯属造谣10月23日，华为集团官方账号发布声明称，部分自媒体口中所谓的“华为将发射1万枚6G移动低轨卫星”纯属造谣。华为表示，展望2030年，超高速、超可靠连接、原生AI、先进感知技术将极大地改善人类生活。6G是更先进的下一代移动通信系统，其内涵

分类标签华为6G卫星

11-19 16:39

人工智能诊断工具可预测COVID-19感染

伦敦大学国王学院、马萨诸塞州总医院和健康科学公司ZOE的研究人员开发了一种人工智能诊断工具，可以根据患者的症状来预测他们是否可能感染COVID-19。他们的研究结果于5月11日发表在《自然·医学》杂志上。 AI模型使用COVID症状研究app（COVIDSymptomStudy）的数据，通过比较人们

分类标签 COVID-19人工智能诊断工具

11-19 16:38

学好AI一些必要的进阶步骤

学好AI一些必要的进阶步骤AI（人工智能）是一门涉及多个学科的交叉学科，需要掌握一定的数学基础、编程基础、机器学习、深度学习、自然语言处理、计算机视觉、强化学习等知识。1.学习AI所需的数学基础学习AI所需的数学基础包括线性代数、概率论和统计学，掌握这些基础知识是理解AI算法的前提。2.学习AI需要

分类标签 AI机器学习深度学习

11-19 16:37

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway