网络与信任

慧眼金睛:
明辨合成媒体时代的真实

随着AI工具的大量涌现,通过网络进行假冒与欺诈变得非常简单,领先企业正在通过一系列制度、策略和技术的“组合拳”来应对。

你

可能最近看到了一则关于 Tom Hanks 推销牙科服务的广告。其实这位演员本人并没有参与拍摄。有人仅仅使用了他的肖像图片,结合深度伪造技术,就让他看起来参与了广告拍摄 ¹ 。

任何人都可以被制作成他们好像说过或做过任何事情,这即将成为这个时代的标志。由生成式AI的快速发展驱动的AI生成内容(AIGC),已经达到了几乎不可能让人们分辨出什么是真实的,什么是从计算机深处凭空想象出来的地步。

不仅名人成为攻击目标。随着AI工具的普及,不良分子现在更容易冒充他人行骗。许多人使用深度伪造技术绕过基于声音和面部识别的访问控制,或进行网络钓鱼攻击。AI应用本身需要大量数据,因此数据也成为黑客攻击的重要目标。随着每个新的内容生成工具进入互联网,安全风险也在不断增加。

但是,领先的组织正在响应这一趋势,通过一系列政策和技术,识别有害内容并提高员工对风险的意识。那些被不良分子利用来攻击组织的生成式AI工具,也可以用来识别和预测攻击,使企业能够提前应对。

当下: AI加持下的新一代的网络攻击

社会工程学攻击一直依赖于说服个人交出数据或系统访问权限,以达到非法目的。尽管这种策略非常有效,但也需要不良分子和受害者之间大量的个人互动。AI生成的内容使攻击者能够以更低的时间投入来创造这种个人化的联系。一波AI生成的内容正在针对企业,通过冒充可信来源来突破安全漏洞。这类问题正在愈演愈烈 ² 。

目前,AI在创造逼真的内容方面的能力,大大超过了人们识别它的能力。大多数人表示他们能够区分AI生成的内容和人类生成的内容,但还有20%的人不确定 ³ 。然而,第一组人可能过于自信。很少有人能够准确地区分这两者,因为AI内容生成器是基于人类创造的内容进行训练的,AI只是尽可能地复制它 ⁴ 。人们可能期望AI生成的内容在某种程度上看起来或听起来像机器人生成的,但现实是它更像人类的作品。

不良分子很可能会利用AI生成内容,通过多种方式攻击企业(图1)。

技术趋势2024

37