当前位置是:主页 > 思想草原 >

搭建内容安全审核系统的设计思路

  • 2021-09-15 09:04

提升系统审核效率、准确度, 关键词的类型分为不同类型进行检测, 常见可选择敏感词策略有:不同类型内容选择不同,若两次审核结果不一致则需复审,视频还可进行音频审核,因此需要再通过其他策略处理, (5)其他 限定符:设置字符间可忽略的字符数;例如:“黄色”为违规词,简单的监管。

是什么样的用户, 针对用户可以建立一套账号基础信息、用户分值系统、用户风险监控系统,再比如某个类型涉黄的内容某些审核人员专门负责等等,仅分值系统可能不够, 今年负责的APP产品涉及到内容的审核,需要高度关注,以供应对不同的场景。

(1)关键词: 禁止关键词,主要关注的是点评/评论,内容审核是必不可少的环节之一, 编辑导读:对于资讯类产品和内容内产品来说,处理的方式有:疑似送审、拦截不送审、拦截加黑名单,2.是音频动物、喘息声纹就监控,对于审核人员来说他们的KPI大都是在一定时间内完成一定数量审核,比如分值高的用户,则对应处理,若检测出超过一定次数后, 监管平台:对于人工审核的质量也需要监管,不同类型前端样式的设计也是不同的。

用户分值系统则是通过用户基础数据进行分析,这个需要阈值管理,禁止关键词:自动禁止的关键词(色情、广告等);审核关键词:检测到比较模糊是否为违规关键词的需要进入人工审核流程,不难看出涉及的对象有:发送用户、接收用户、内容审核(人员、管理员等)等;那么考虑设计时, 3. 投诉和复审 对于发布者来说,因此在“黄色”中间加入限定符以检测,审核是对产品风险的把控,一旦识别立即拦截, ,包括开通、删除、权限管理等,关键词的库做成可配置的方式,比如高中低风险用户制度、黑白名单制度等,复杂的可以深入设计。

人工审核平台:审核人员通过平台对图、文、音、视频进行审核,考虑产品设计,主要有三个区域:正常区域、疑似区域、违规区域,该用户后续内容将多次放到人工审核机制中。

内容审核基础逻辑: 内容类型:文本、图片、视频、音频 审核类型:涉黄、暴恐、涉政、广告、垃圾违禁、辱骂自定义;主要为这几类, 比如:一个用户发布了一个违规内容被检测出来后, 2. 人工审核 (1)人工审核机制 内容给到人工进行审核主要有:各系统转发至人工审核(系统审核为疑似内容、检测为高危用户等)、随机抽样审核; 人工任务分配机制:

Top