审核内容 - Amazon Rekognition

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

审核内容

您可以使用 Amazon Rekognition 来检测不当、不必要或冒犯性内容。您可以在社交媒体、广播媒体、广告和电子商务环境中使用 Rekognition 审核 API 来打造更为安全的用户体验,为广告商提供品牌安全保证,并遵守当地和全球法规。

如今,许多公司完全依靠人工审核员来审查第三方或用户生成的内容,而其他公司则只是对用户投诉做出回应,删除冒犯性或不当图片、广告或视频。但是,仅靠人工审核员自身无法以出色的质量或速度进行扩展以满足这些需求,这会导致用户体验不佳,实现规模化的成本高昂,甚至失去品牌声誉。通过使用 Rekognition 进行图像和视频审核,人工审核员可以审核更少的内容,通常是内容总量的 1-5%,且由机器学习标记完毕。这使其能够集中精力开展更有价值的活动,而且仅花费一小部分现有成本即可实现全面审核。要建立人工工作团队并执行人工审核任务,您可以使用 Amazon Augmented AI,它已与 Rekognition 集成。

您可以使用自定义审核功能提高审核深度学习模型的准确性。自定义审核功能让您可以通过上传图像并对这些图像添加注释来训练自定义审核适配器。然后,可以将经过训练的适配器提供给 “DetectModeration标签” 操作,以增强其在图像上的性能。请参阅使用自定义审核提高准确性了解更多信息。

Rekognition 内容审核操作支持的标签

  • 要下载审核标签列表,请单击此处

下图显示了调用操作的顺序,具体取决于您使用内容审核的图像或视频组件的目标:

描述图像和视频审核步骤的流程图。

使用图像和视频审核 API

在 Amazon Rekognition Image API 中,您可以使用标签和异步使用和DetectModeration操作同步检测不当、不需要或令人反感的内容。StartMediaAnalysisJobGetMediaAnalysisJob您可以使用 Amazon Rekognition Video API 通过审核和审核操作异步检测此类内容。StartContent GetContent

标签类别

Amazon Rekognition 使用三级分层分类法来标记不当、不需要或令人反感的内容类别。每个分类等级 1 (L1) 的标签都有许多分类学级别 2 标签 (L2),而某些分类学级别 2 标签可能有 3 级分类标签 (L3)。这允许对内容进行分层分类。

对于检测到的每个审核标签,API 还会返回TaxonomyLevel,其中包含该标签所属的级别(1、2 或 3)。例如,可以根据以下分类对图片进行标记:

L1:私密部位和接吻的非露骨裸体,L2:非露骨裸体,L3:隐含裸体。

注意

我们建议使用 L1 或 L2 类别来审核您的内容,仅使用 L3 类别来移除您不想审核的特定概念(即根据您的审核政策检测您可能不想归类为不当、不需要或令人反感的内容的内容)。

下表显示了类别等级与每个级别可能的标签之间的关系。要下载审核标签列表,请单击此处

顶级类别 (L1) 二级类别 (L2) 三级类别 (L3) 定义
显式 明显裸露 暴露的男性生殖器 人类男性生殖器,包括阴茎(无论是勃起还是松弛)、阴囊和任何可辨别的阴毛。该术语适用于涉及性行为或任何完全或部分显示男性生殖器的视觉内容的上下文。
裸露的女性生殖器 女性生殖系统的外部部分,包括外阴、阴道和任何可观察到的阴毛。该术语适用于涉及性活动或任何视觉内容的场景,其中女性解剖结构的这些方面全部或部分显示。
裸露的臀部或肛门 人类的臀部或肛门,包括臀部裸体或通过透明的衣服可以辨别臀部的情况。该定义特别适用于可以直接完全看到臀部或肛门的情况,不包括任何形式的内衣或衣服可以完全或部分覆盖的情况。
裸露的女性乳头 人类女性乳头,包括完全可见和部分可见的乳头(乳头周围的区域)和乳头。
露骨的性行为 不适用 描绘实际或模拟的性行为,包括人类性交、口交,以及其他身体部位和物体对男性生殖器刺激和女性生殖器刺激。该术语还包括身体部位的射精或阴道液体,以及涉及束缚、纪律、统治和屈服以及施虐受虐狂的色情行为或角色扮演。
情趣玩具 不适用 用于性刺激或愉悦的物体或设备,例如假阳具、振动器、屁股塞、节拍等
私密部位和接吻的非露骨裸体 非露骨裸体 裸露的背部 人体后部,从颈部到脊柱末端可以看到大部分皮肤。当个人的背部被部分或完全遮挡时,该术语不适用。
裸露的男性乳头 人类男性乳头,包括部分可见的乳头。
臀部部分暴露 部分暴露的人体臀部。该术语包括由于衣服短而导致的臀部或臀部脸颊部分可见的区域,或者肛门裂缝的顶部部分部分可见。该术语不适用于臀部全裸的情况。
部分暴露的女性乳房 部分暴露的人类女性乳房,其中女性乳房的一部分可见或未露出,而没有露出整个乳房。该术语适用于乳房内侧褶皱区域可见或乳头完全遮住或遮住乳头时下乳房折痕可见的情况。
隐含的裸体 一个人是裸体,要么是裸照,要么是露底,但臀部、乳头或生殖器等私密部位被遮住、被遮住或无法完全看见。
私密部位受阻 女性乳头受阻 视觉描绘了女性的乳头被不透明的衣服或覆盖物遮住,但其形状清晰可见的情况。
男性生殖器受阻 视觉描绘男性的生殖器或阴茎被不透明的衣服或覆盖物遮住,但其形状清晰可见的情况。当图像中受阻的生殖器近距离拍摄时,该术语适用。
在嘴唇上接吻 不适用 描绘一个人的嘴唇与另一个人的嘴唇接触。
泳装或内衣 女性泳装或内衣 不适用 女性泳装(例如连体泳衣、比基尼、分体泳衣等)和女性内衣(例如胸罩、内裤、三角裤、内衣、丁字裤等)的人体服装
男士泳装或内衣 不适用 男士泳装(例如泳裤、沙滩裤、游泳三角裤等)和男士内衣(例如三角裤、平角裤等)的人体服装
暴力 武器 不适用 用于对生物、结构或系统造成伤害或损害的仪器或设备。这包括枪支(例如枪支、步枪、机关枪等)、锋利武器(例如剑、刀等)、爆炸物和弹药(例如导弹、炸弹、子弹等)。
图形暴力 武器暴力 使用武器对自己、他人或财产造成伤害、损害、伤害或死亡。
身体暴力 对他人或财产造成伤害的行为(例如打人、打架、拔头发等)或其他涉及人群或多人的暴力行为。
自我伤害 对自己造成伤害的行为,通常是通过切割手臂或腿部等身体部位,这些部位通常可以看到割伤。
Blood & Gore 对一个人、一群人或动物施加暴力的视觉表现,涉及开放性伤口、流血事件和身体部位被肢解。
爆炸和爆炸 描绘了一场猛烈而破坏性的强烈火焰爆发,浓烟或灰尘和烟雾从地面喷出。
视觉干扰 死亡与消瘦 瘦骨嶙峋的身体 人体极度瘦弱,营养不良,身体严重萎缩,肌肉和脂肪组织枯竭。
尸体 残缺的尸体、悬挂的尸体或骷髅形式的人类尸体。
崩溃 空难 飞机、直升机或其他飞行器等飞行器导致损坏、受伤或死亡的事故。当飞行器的一部分可见时,该术语适用。
毒品和烟草 产品 药丸 小而坚固,通常是圆形或椭圆形的桌子或胶囊。该术语适用于以独立药丸、瓶装或透明包装形式呈现的药丸,不适用于服用药丸的人的视觉描绘。
毒品和烟草用具及使用 抽烟 吸入、呼气和点燃燃烧物质的行为,包括香烟、雪茄、电子烟、水烟或关节。
酒精 酒精的使用 饮酒 用瓶装或杯装酒精或白酒喝含酒精饮料的行为。
酒精饮料 不适用 近距离观察一瓶或多瓶酒精或烈酒、装有酒精或烈酒的玻璃杯或马克杯,以及个人持有的装有酒精或烈酒的玻璃杯或马克杯。该术语不适用于用瓶装或杯装酒精或酒精饮料的个人。
粗鲁的手势 中指 不适用 用中指向上伸出手势的视觉描绘,而其他手指则向下折叠。
赌博 不适用 不适用 参与机会游戏以有机会在赌场赢取奖品的行为,例如扑克牌、二十一点、轮盘、赌场的老虎机等。
仇恨标志 纳粹党 不适用 与纳粹党相关的符号、旗帜或手势的视觉描绘。
白人至上主义 不适用 与 Ku Klux Klan(KKK)相关的符号或衣服的视觉描绘以及带有同盟国旗帜的图像。
极端主义 不适用 包含极端主义和恐怖组织旗帜的图片。

不是 L2 类别中的每个标签都有 L3 类别中支持的标签。此外,“产品” 和 “毒品和烟草用具及使用” L2标签下的L3标签并不详尽。这些 L2 标签涵盖了提及的 L3 标签之外的概念,在这种情况下,API 响应中仅返回 L2 标签。

您确定内容适合应用程序的程度。例如,可以接受带暗示性内容的图像,但无法接受包含裸体的图像。要筛选图像,请使用由DetectModerationLabels(图片)和GetContentModeration(视频)返回的 l ModerationLabelabels 数组。

内容类型

API 还可以识别动画或插图内容类型,内容类型作为响应的一部分返回:

  • 动画内容包括视频游戏和动画(例如卡通、漫画、漫画、动画)。

  • 插图内容包括素描、绘画和素描。

置信度

您可以通过指定 MinConfidence 输入参数,设置 Amazon Rekognition 在检测不当内容时使用的置信度阈值。不会返回检测的置信度低于 MinConfidence 的不当内容的标签。

指定小于 50% MinConfidence 的值可能会返回大量误报结果(即更高的召回率、更低的精度)。另一方面,指定MinConfidence高于50%可能会返回较少的假阳性结果(即召回率降低,精度更高)。如果您没有为 MinConfidence 指定值,则 Amazon Rekognition 会返回检测的置信度不低于 50% 的不当内容的标签。

ModerationLabel 数组包含前面类别的标签和估计的已识别内容准确度的置信度。顶级标签将与已识别的任何第二级标签一起返回。例如,Amazon Rekognition 可能返回具有高置信度得分的“明显裸露”作为顶级标签。这也许能够满足筛选需求。但如有必要,您可以使用第二级标签(例如“男性裸体图”)的置信度得分来实现更高粒度的筛选。有关示例,请参阅检测不当图像

版本控制

Amazon Rekognition Image 和 Amazon Rekognition Video 都返回了用于检测不当内容的审核检测模型的版本(ModerationModelVersion)。

排序和汇总

使用检索结果时 GetContentModeration,您可以对结果进行排序和汇总。

排序顺序 – 返回的标签数组按时间进行排序。要按标签进行排序,请为 GetContentModerationSortBy 输入参数中指定 NAME。如果此标签在视频中多次出现,则会有 ModerationLabel 元素的多个实例。

标签信息 — ModerationLabels 数组元素包含一个ModerationLabel对象,该对象又包含标签名称以及 Amazon Rekognition 对检测到的标签的准确性的信心。时间戳是检测到 ModerationLabel 的时间,定义为视频开始后经过的毫秒数。对于按视频SEGMENTS汇总的结果,将返回 StartTimestampMillisEndTimestampMillisDurationMillis 结构,它们分别定义了片段的开始时间、结束时间和持续时间。

汇总 – 指定返回结果时的汇总方式。默认为按 TIMESTAMPS 汇总。您也可以选择按 SEGMENTS 汇总,即在某个时间段内汇总结果。只返回在分段期间检测到的标签。

自定义审核适配器状态

自定义审核适配器可能处于以下状态之一:TRAINING_IN_PROGRESS、TRAINING_COMPLETED、TRAINING_FAILED、正在删除、已弃用或已过期。有关这些适配器状态的完整说明,请参阅管理适配器

注意

Amazon Rekognition 既不是权威,也不以任何方式声称会彻底筛选不当或冒犯性内容。此外,图像和视频审核 API 不会检测图像是否包含非法内容,例如,儿童性虐待材料。

测试内容审核版本 7 并转换 API 响应

Rekognition 将内容审核标签检测功能中图像视频组件的机器学习模型从 6.1 版更新到 7 版。此更新提高了整体准确性,并引入了几个新类别并修改了其他类别。

如果您当前是 6.1 版的视频用户,我们建议您采取以下措施以无缝过渡到版本 7:

  1. 下载并使用 AWS 私有软件开发工具包(参见AWS 内容审核 SDK 和使用指南版本 7 )来调用 StartContentModeration API。

  2. 查看 API 响应或控制台中返回的标签和置信度分数的更新列表。如有必要,相应地调整应用程序的后处理逻辑。

  3. 您的账户将一直使用版本 6.1,直到 2024 年 5 月 13 日。如果您希望在 2024 年 5 月 13 日之后使用版本 6.1,请在 2024 年 4 月 30 日之前联系 AWS Support 团队申请延期。我们可以将您的账户延期至2024年6月10日,使其继续使用6.1版本。如果我们在 2024 年 4 月 30 日之前没有收到您的回复,则您的账户将从 2024 年 5 月 13 日起自动迁移到 7.0 版。

AWS 内容审核 SDK 和使用指南版本 7

下载与您选择的开发语言相对应的 SDK,并查阅相应的用户指南。

版本 6.1 到 7 的标签映射

内容审核版本 7 添加了新的标签类别并修改了之前存在的标签名称。在决定如何将 6.1 标签映射到 7 个标签 标签类别 时,请参考中的分类表。

在下一节中可以找到一些标签映射示例。我们建议您在根据应用程序的后处理逻辑进行必要的更新之前,先查看这些映射和标签定义。

L1 映射架构

如果您使用仅对顶级类别 (L1)(例如Explicit NuditySuggestiveViolence等)进行筛选的后期处理逻辑,请参阅下表来更新您的代码。

V6.1 L1 V7 L1
明显裸露 显式
暗示性 私密部位和接吻的非露骨裸体
泳装或内衣
暴力 暴力
视觉干扰 视觉干扰
粗鲁的手势 粗鲁的手势
毒品 毒品和烟草
烟草 毒品和烟草
酒精 酒精
赌博 赌博
仇恨标志 仇恨标志

L2 映射架构

如果您使用对 L1 和 L2 类别(例如Explicit Nudity / Nudity, Suggestive / Female Swimwear Or UnderwearViolence / Weapon Violence等)进行筛选的后处理逻辑,请参阅下表来更新您的代码。

V6.1 L1 V6.1 L2 V7 L1 V7 L2 V7 L3 V7 ContentTypes
明显裸露 裸露 显式 明显裸露

裸露的女性乳头

裸露的臀部或肛门

男性裸体图 显式 明显裸露 暴露的男性生殖器
女性裸体图 显式 明显裸露 裸露的女性生殖器
性行为 显式 露骨的性行为
明显裸露插图 显式 明显裸露 映射到 “动画” 和 “插图”
明显裸露插图 显式 露骨的性行为 映射到 “动画” 和 “插图”
成人玩具 显式 情趣玩具
暗示性 女性泳衣或内衣 泳装或内衣 女性泳装或内衣
男性泳衣或内衣 泳装或内衣 男士泳装或内衣
部分裸露 私密部位和接吻的非露骨裸体 非露骨裸体 隐含的裸体
赤膊男性 私密部位和接吻的非露骨裸体 非露骨裸体 裸露的男性乳头
暴露的衣服 私密部位和接吻的非露骨裸体 非露骨裸体
私密部位和接吻的非露骨裸体 私密部位受阻
色情场景 私密部位和接吻的非露骨裸体 在嘴唇上接吻
暴力 暴力或血腥画面 暴力 图形暴力 Blood & Gore
身体暴力 暴力 图形暴力 身体暴力
武器暴力 暴力 图形暴力 武器暴力
武器 暴力 武器
自我伤害 暴力 图形暴力 自我伤害
视觉干扰 瘦骨嶙峋的身体 视觉干扰 死亡与消瘦 瘦骨嶙峋的身体
尸体 视觉干扰 死亡与消瘦 尸体
自缢 视觉干扰 死亡与消瘦 尸体
空难 视觉干扰 崩溃 空难
爆炸 暴力 图形暴力 爆炸和爆炸
粗鲁的手势 中指 粗鲁的手势 中指
毒品 药品 毒品和烟草 产品
吸毒 毒品和烟草 毒品和烟草用具及使用
药丸 毒品和烟草 产品 药丸
吸毒用具 毒品和烟草 毒品和烟草用具及使用
烟草 烟草制品 毒品和烟草 产品
抽烟 毒品和烟草 毒品和烟草用具及使用 抽烟
酒精 饮酒 酒精 酒精的使用 饮酒
酒精饮料 酒精 酒精饮料
赌博 赌博 赌博
仇恨标志 纳粹党 仇恨标志 纳粹党
白人至上主义 仇恨标志 白人至上主义
极端主义 仇恨标志 极端主义