今天下午，小米创始人雷军介绍了小米研发的一套表格识别算法，高效准确地将图片中的表格转化为可编辑的Excel文件，极大地提升了体验。
表格识别是指将图片中的表格结构和文本信息识别成计算机能够理解的数据格式。在办公、商务、教育等场景中具有广泛的实用价值，一直是文档分析和研究的热点问题。
围绕这个问题，小米开发了一套表格识别算法，可以高效准确地从图片中提取表格，转化为可编辑的Excel文件。目前该算法已成功落地小米10S系列、MIX Fold 2等旗舰机型。可以从相册-更多-表格中识别，也可以扫描进入体验。
表格检测算法
小米表示，桌子检测算法主要是从图片中准确提取桌子区域，并对桌子进行校正，得到平整的桌子图片，用于下一步的桌子识别；
表格识别算法主要是从图片中提取表格结构和表格文本内容，然后将这些信息有效地结合在一起，输出可编辑的Excel表格。
表格检测有以下难点:一方面手机上的算法和内存有限；另一方面，表格检测结果要求很高，表格周围经常包含其他字符。如果检测结果不准确，会对后期的识别结果产生负面影响。
小米的桌子检测算法可以同时检测桌子区域和桌子的四个角。通过透视变换和我们自主开发的反失真算法，可以得到一个只有表格区域的平面表格。效果如图。
由于算法在手机上运行，需要保证运行速度和模型大小，小米采用了非常轻量级的一阶段检测框架，backbone采用shuffleNetV2；
在检测表格框的同时，回归关键点信息，便于表格的透视校正。用机翼损失代替L1损失，使关键点回归更准确。
在数据方面，利用算法从公共数据中低成本挖掘出大量的表格检测数据，显著提高了表格检测效果。模型最终尺寸在1M左右，在小米手机上运行流畅。
表格识别算法
表格识别算法运行在服务器端，主要包括以下模块:文本检测、文本识别、表格结构预测、单元格匹配、对齐算法、Excel导出。
目前主流的方法是用HTML超文本表示表格，然后对HTML进行编码，预测HTML序列和对应的坐标信息。
该方法在开源数据集上取得了良好的效果，中国平安科技股份有限公司也采用了该方案。但是，HTML中的标签过多会导致表格结构识别错误。
针对这种方法的缺点，我们采用了一种全新的表格编码方法，只需要四个标签就可以表示任意结构的表格，大大提高了表格结构识别的准确率。
在表标识部署过程中，采用了Fastertransformer推理框架来提高速度。官方表示，小米推理速度提升了20倍左右，显著提升了用户体验。
摘要
该算法能够高效便捷地从图片中提取表格，大大提高了办公效率。小米表示，工程师将继续改善小米手机中文档图像的识别体验。
