旧金山责令Meta停止纵容AI儿童虐待广告
旧金山市检察官办公室责令Meta解释Facebook和Instagram上反复出现AI生成儿童性虐待广告一事,并要求其停止纵容此类内容,Meta回应称相关广告不在该市管辖范围内。
驱动中国9月10日消息,据外媒报道,旧金山市检察官办公室已向Meta发出正式信函,要求该公司解释为何Facebook和Instagram上会反复出现由AI生成的儿童性虐待广告,并责令其立即停止“纵容”这类内容传播。此前,Meta旗下两大社交平台被曝多次出现涉嫌利用AI技术合成的儿童不当内容广告,引发美国社会广泛关注。
旧金山市检察官办公室在信中明确指出,Meta作为平台运营方,有责任对其广告内容进行严格审核。然而,实际情况却是,这些明显违规的广告并非偶发,而是反复出现在用户的信息流中,暴露出平台在内容审查机制上的重大漏洞。信函要求Meta在规定时间内就广告为何能多次上线、审核流程存在哪些缺陷等问题作出书面说明。
据知情人士透露,这些广告使用了AI生成工具制作,画面内容极具欺骗性,普通用户很难在第一时间辨别真伪。而Meta现有的自动化审核系统显然未能有效识别这类新型违规素材,导致其在发布后能够持续存活一段时间,直到被用户举报或媒体曝光。
面对旧金山方面的质询,Meta回应称,这些广告不属于该市的管辖范围。该公司认为,广告内容审核与平台运营的监管权限属于联邦层面或平台总部所在地的管辖范畴,而非旧金山市地方机构。这一说法被外界解读为Meta试图在监管博弈中争取缓冲空间,但显然难以平息舆论的质疑。
值得注意的是,这并非Meta首次在儿童安全问题上遭遇监管压力。此前,该公司曾因平台上的不当内容多次受到美国各州及联邦机构的调查。而AI生成内容技术的快速发展,正在让平台的内容治理变得更加复杂。传统的图片识别与人工审核手段,在面对由生成式AI制造的高仿真内容时,往往显得力不从心。
此次事件也再次将AI技术的滥用风险推到聚光灯下。随着生成式AI工具的普及,制作逼真但虚假的图像、音频和视频的门槛大幅降低,这为不法分子提供了可乘之机。科技行业观察人士指出,平台方不仅需要升级审核技术,更应从规则层面明确禁止利用AI生成任何涉及未成年人的不当内容,并建立更高效的举报与响应机制。
对于Meta而言,如何回应旧金山市检察官办公室的质询,将在一定程度上影响外界对其在AI治理与未成年人保护方面决心与能力的判断。而在更广泛的层面上,这一事件也为全球科技企业敲响警钟:在拥抱AI技术红利的同时,必须同步构建起足够坚固的内容安全防线。