近年来,网络暴力事件愈演愈烈,与日俱增,冲突行为也不断升级。中科院在调查过程中发现,近三成的中国青少年表示在上网时受到过暴力虐待;美国一项调查的数据显示,全美国有近40%的受访者多次经历过各种花式极端和网络暴力。
同时,随着各种垂直内容平台的不断发展,用户在内容平台上花费的时间越来越多,对优质内容的追求也逐渐显露。信息流是一种数据格式,通过它可以将最新的信息传播给用户,可以理解为信息的有效队列。为了营造健康绿色的内容生态环境,平台开始打造图文信息多方位、严格的内容审核和标注体系。

平台内容存在以下问题:低俗内容、重复内容、政治敏感、血腥暴力、广告导流、诱导互动、过于个人化等不适合的内容。
通过信息流内容审核平台的建设,加强对平台内各类图文内容的管控,提高优质内容的曝光和分发效率,屏蔽或减少部分网民发送的违法低质内容,让违法人员减少内容曝光,打击不良内容,从而维护互联网内容生态。
信息流审查平台的现状
目前信息流图文平台的内容审核需要控制图文内容本身的质量,以保证整个互联网内容生态的稳定状态,从而解决互联网生态中图文内容审核过程中涉及的智能审核、人工审核、策略管理、基础服务、权限管理等问题。
人工智能的发展为内容审核提供了新的解决方案,但它主要通过数据进行学习,没有演绎和归纳推理的能力。目前还无法判断一些无法明确划定的内容是否合规,很多情况需要人工审核。
信息流的智能审计
智能审核主要是实现系统对图文内容的初步管理,实现优质内容的豁免或优先,过滤非法内容,将系统无法直接决定的内容转移到人工审核部分,节省审核人员的人力成本。智能审计主要进行违法审计和质量审计。

1)违规审计
审核是智能识别最重要的功能,违规内容主要包括政治敏感审核、低俗色情审核、广告营销审核。
政治敏感的审核是监管部门最重视的部分,因为这类内容往往可能存在危害国家和社会安全的问题。同时,一些媒体为了博取眼球和关注,可能会恶意发送政治敏感内容。为了防止上述问题,有必要对这部分内容进行审核;
低俗审查是内容审查过程中最重要的。一个平台有太多低俗内容是非常危险的。一方面会面临大量优质用户的流失;另一方面,稍有不慎就可能被相关部门查获。所以有必要对低俗内容进行审查。
对公司利益的审核对公司在用户心目中的形象至关重要,如果自己的平台充斥着公司的负面信息,对公司极为不利。
2)质量审核

质量审核主要是识别平台中的优质内容和低质内容,以便后续内容分发和推荐策略。其中,低质量内容主要包括广告营销、诱导互动内容、竞品引导内容、自动发布的格式化内容、无意义内容等。
这种低质内容过多,短期内可能不会对平台造成负面影响,但长期来看,优质创作者生产的内容无法得到很好的曝光和消费,可能会出现劣币追良币的情况,甚至会流失大量优质创作者和内容消费者。
信息流的人工审查
人工审核是整个内容审核过程中不可或缺的一部分。在这个过程中,一些经过智能审核的内容会以人工审核任务的形式发送给审核人员,审核人员会对智能无法判断的内容进行处理。该部分主要包括任务下发、任务审核、任务提交等操作,包括初审、热审、负反馈审核。
在整个完成的手工审计过程中,审计人员需要先认领审计任务,在认领完成后再选择开始审计。在审计过程中,可以修改审计记录,审计完成后可以提交审计任务。
经过智能审核后,违规内容再次流转到人工审核部分进行审核的过程即初次审核;经过审核后的内容进入线上分发后,短时间内得到了点赞、浏览、评论,此类内容若有负面信息,会产生极大的影响,因此在达到一定的阈值后,会再次进入内容审核系统进行审核的过程即热审核;经过审核后的内容进入线上分发后,被大量用户


