一. 业务背景
隐私清除是手机质检的重要一环，我们回收的手机在经过自动化质检完成后，会对手机进行隐私清除。
在进行隐私清除之前，需要确保手机退出云服务的帐号。例如 iPhone 手机需要退出 iCloud ，华为、小米等手机都要退出对应的云服务。否则会造成隐私数据的泄漏的风险，也会让后续购买此手机的用户无法享受到云服务的功能。
因此，帐号检测是一项很重要的功能。本节以 Android 手机的帐号检测是否退出为例，主要是针对华为、小米等有比较明显的特征的手机，通过图像预处理、OCR 进行识别。
我们的隐私清除工具是一个桌面端程序，运行在 Ubuntu 系统上。
隐私清除1.jpg
对于 Android 手机，桌面工具通过 adb 命令将隐私清除 App 安装到手机上，然后二者通过 WebSocket 进行通信，做手机的隐私清除。
隐私清除2.jpg
二. 设计思路
在做帐号检测这个功能之前，我尝试过很多办法来判断帐号是否退出，例如找相关的 adb 命令，或者对应厂商的 API，都没有很好的效果。经过不断摸索后，采用如下的方式：
- 使用 adb 命令修改手机的休眠时间，确保手机一段时间内不会熄屏。
- 使用 adb 命令跳转到系统设置页面（不同的手机使用的命令略有不同）
- 使用 adb 命令对当前页面进行截图
- 使用 adb 命令将图片传输到桌面端的机器
- 通过程序对原图进行裁剪，保留原先的40%
- 对裁剪的图片进行图像二值化处理（不同的手机采用不同的二值化算法）
- 调用 OCR 进行特征字符串的识别。
- 比对字符串相似度，最终确定帐号是否退出。
帐号检测.png
这种方式在华为、小米手机上取得很好的效果。
三. 代码实现以及踩过的坑
核心代码
核心的代码使用 RxJava 将上述所有过程串联起来，每一个过程是一个 map 操作，下面展示检测华为手机的帐号是否退出：
object HuaweiDetect : IDetect { val logger: Logger = LoggerFactory.getLogger(this.javaClass) val list by lazy { arrayOf("华为帐号、云空间、应用市场等" ,"华为帐号、付款与账单、云空间等" ,"华为帐号、云空间" ,"华为帐号、付款与账单") } override fun detectUserAccount(serialNumber:String,detail:String): Observable<Boolean> { val file = File(detectAccountPath) if (!file.exists()) { file.mkdir() } val timeoutCmd = CommandBuilder.buildSudoCommand("aihuishou","$adbLocation -s $serialNumber shell settings put system screen_off_timeout 600000") CommandExecutor.executeSync(timeoutCmd,appender = object : Appender { override fun appendErrText(text: String) { println(text) } override fun appendStdText(text: String) { println(text) } }).getExecutionResult() val cmd = CommandBuilder.buildSudoCommand("aihuishou","$adbLocation -s $serialNumber shell am start -S com.android.settings/.HWSettings") val fileName = "${serialNumber}-${detail}.png" return CommandExecutor.execute(cmd) .asObservable() .delay(2, TimeUnit.SECONDS) .map { val screencapCmd = CommandBuilder.buildSudoCommand("aihuishou","$adbLocation -s $serialNumber shell screencap -p /sdcard/$fileName") CommandExecutor.executeSync(screencapCmd, appender = object : Appender { override fun appendErrText(text: String) { println(text) } override fun appendStdText(text: String) { println(text) } }).getExecutionResult() } .map { val pullCmd = CommandBuilder.buildSudoCommand("aihuishou","$adbLocation -s $serialNumber pull /sdcard/$fileName ${detectAccountPath}/${fileName}") CommandExecutor.executeSync(pullCmd, appender = object : Appender { override fun appendErrText(text: String) { println(text) } override fun appendStdText(text: String) { println(text) } }).getExecutionResult() fileName } .map { val input = File("$detectAccountPath/$it") val image = ImageIO.read(input) val width = image.width val height = image.height return@map imageCutByRectangle(image, 0, 0, width, (height * 0.4).toInt()) } .map { // 二值化 binaryForHuawei(it) } .map{ val ocrValue = newTesseract().doOCR(it) logger.info("ocrValue = $ocrValue") ocrValue } .map { ocrValue-> if (ocrValue.contains("华为帐号、云空间、应用市场等") || ocrValue.contains("华为帐号、付款与账单、云空间等") || ocrValue.contains("华为帐号、云空间") || ocrValue.contains("华为帐号、付款与账单")) { return@map true } else { val array = ocrValue.split("\n".toRegex()) array.map { it.replace("\\s+".toRegex(),"") }.toList().forEach{ s-> for (item in list) { val d = levenshtein(s,item) // 字符串相似度比较 if (d>=0.7) { return@map true } } } return@map false } } } }
其中，imageCutByRectangle() 用于裁剪图片
/** * 矩形裁剪，设定起始位置，裁剪宽度，裁剪长度 * 裁剪范围需小于等于图像范围 * @param image * @param xCoordinate * @param yCoordinate * @param xLength * @param yLength * @return */ fun imageCutByRectangle( image: BufferedImage, xCoordinate: Int, yCoordinate: Int, xLength: Int, yLength: Int ): BufferedImage { //判断x、y方向是否超过图像最大范围 var xLength = xLength var yLength = yLength if (xCoordinate + xLength >= image.width) { xLength = image.width - xCoordinate } if (yCoordinate + yLength >= image.height) { yLength = image.height - yCoordinate } val resultImage = BufferedImage(xLength, yLength, image.type) for (x in 0 until xLength) { for (y in 0 until yLength) { val rgb = image.getRGB(x + xCoordinate, y + yCoordinate) resultImage.setRGB(x, y, rgb) } } return resultImage }
binaryForHuawei() 用于图像二值化。
图像二值化（ Image Binarization）就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程。
在数字图像处理中，二值图像占有非常重要的地位，图像的二值化使图像中数据量大为减少，从而能凸显出目标的轮廓。
fun binaryForHuawei(bi: BufferedImage):BufferedImage = binary(bi) /** * 图像二值化操作 * @param bi * @param thresh 二值化的阀值 * @return */ fun binary(bi: BufferedImage,thresh:Int = 225):BufferedImage { // 获取当前图片的高,宽,ARGB val h = bi.height val w = bi.width val rgb = bi.getRGB(0, 0) val arr = Array(w) { IntArray(h) } // 获取图片每一像素点的灰度值 for (i in 0 until w) { for (j in 0 until h) { // getRGB()返回默认的RGB颜色模型(十进制) arr[i][j] = getImageRgb(bi.getRGB(i, j)) //该点的灰度值 } } val bufferedImage = BufferedImage(w, h, BufferedImage.TYPE_BYTE_BINARY) // 构造一个类型为预定义图像类型之一的 BufferedImage，TYPE_BYTE_BINARY（表示一个不透明的以字节打包的 1、2 或 4 位图像。） for (i in 0 until w) { for (j in 0 until h) { if (getGray(arr, i, j, w, h) > thresh) { val white = Color(255, 255, 255).rgb bufferedImage.setRGB(i, j, white) } else { val black = Color(0, 0, 0).rgb bufferedImage.setRGB(i, j, black) } } } return bufferedImage } private fun getImageRgb(i: Int): Int { val argb = Integer.toHexString(i) // 将十进制的颜色值转为十六进制 // argb分别代表透明,红,绿,蓝 分别占16进制2位 val r = argb.substring(2, 4).toInt(16) //后面参数为使用进制 val g = argb.substring(4, 6).toInt(16) val b = argb.substring(6, 8).toInt(16) return ((r + g + b) / 3) } //自己加周围8个灰度值再除以9，算出其相对灰度值 private fun getGray(gray: Array<IntArray>, x: Int, y: Int, w: Int, h: Int): Int { val rs = (gray[x][y] + (if (x == 0) 255 else gray[x - 1][y]) + (if (x == 0 || y == 0) 255 else gray[x - 1][y - 1]) + (if (x == 0 || y == h - 1) 255 else gray[x - 1][y + 1]) + (if (y == 0) 255 else gray[x][y - 1]) + (if (y == h - 1) 255 else gray[x][y + 1]) + (if (x == w - 1) 255 else gray[x + 1][y]) + (if (x == w - 1 || y == 0) 255 else gray[x + 1][y - 1]) + if (x == w - 1 || y == h - 1) 255 else gray[x + 1][y + 1]) return rs / 9 }
对于不同的手机，在处理二值化时需要使用不同的阀值，甚者采用不同的二值化算法。
下图分别展示了使用 adb 命令截系统设置页面的图，以及裁剪并经过二值化处理后的图片。
HUAWEI-ELE-AL00.png
HUAWEI-ELE-AL00-debug.png
newTesseract().doOCR(it) 是使用 Tesseract 来对二值化后的图片调用 OCR 算法进行文字内容的识别。
fun newTesseract():Tesseract = Tesseract().apply { val path = SystemConfig.TESS_DATA this.setDatapath(path) this.setLanguage("eng+chi_sim") this.setOcrEngineMode(0) }
这里我们采用英文和中文的模型，目前只能识别中英文的内容。
对于识别出的内容可能会跟我们预期的有误差，最后采用 Levenshtein 作为字符串相似度的比较。达到一定的值，我们会认为符合预期。
Levenshtein 距离，又称编辑距离，指的是两个字符串之间，由一个转换成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。
踩过的坑
- Tesseract 在多线程情况下无法使用。后来又使用了对象池，但是仍然无法使用。只能每次实例一个新的 Tesseract 对象，因此不得不对 JVM 进行调优。
- 对于不同品牌的手机，图像的二值化需要分别处理。
- 同一个品牌的手机，不同型号可能需要采用不同的策略。
四.后续的规划
虽然上述的实现已经满足了大部分的需求，但是只能处理中英文，并且算法模型需要部署在桌面端。我们已经开始着手深度学习的算法实现 OCR 的功能。
在下一阶段的工作中，将算法和模型都部署在云端。一方面减轻桌面端的压力，另一方面能够支持多种语言并提高文字识别率。
