一个AI恐惧故事：我在色情网站，看到了自己

“我在群里看到你，是你吗？”

在韩国，如果有朋友给你发来这句问好，不要误解，他大概率不是要和你叙旧，因为接下来他给你发的，很或许便是你的裸照。

看着屏幕，你如遭雷击，脑子一片空白。尽管你百分百承认自己从来没有拍照这样的相片，可手机屏幕里的那个人端倪清楚，却又清楚便是你。

你不明青丝生了什么，心脏被攥紧，惊骇开端在全身延伸。

相片当然和女孩儿无关，它是由一种名叫深度假造（DeepFake）的技能生成，这种技能在国内更被人熟知的称号是“AI换脸”。在现在的韩国，这种技能正在变成一团巨大的暗影，笼罩在一切女人的头顶，带来惊惧和虐待。

在韩国，违法者经过DeepFake将普通人的形象替换到色情图片或视频中，然后经过交际媒体上进行传达，对当事人进行侮辱。

据《朝鲜日报》的报导，最近一周在警方发现的相关Telegram社群里，参加制作和传达DeepFake的加害者已多达23万人。这些人不约束在韩国，也来自国际各地。

另据一位韩国网友在X上发布的帖子表明，遭到DeepFake影响的受害者现已广泛韩国数百所国中、高中和大学。这些受害者中，80%是女人，她们有的还在念初高中，归于未成年人、有的是大学生或许教师，其间乃至包含女人武士，她们的相片被称为“军需品”。

▲X上发表受Deepfake技能影响的校园名单

回忆这场风暴，DeepFake无疑是其间的要害。但它却并不是一项新技能，最早呈现在2016年的DeepFake到现在已有将近十年的前史。

这十年间，DeepFake一向游走在罪恶和法令的边际，不断应战着人道和品德的底线。从美国到我国，从韩国到印度，DeepFake每隔一两年就会有一次技能打破，然后又给这个国际带来一场更大的惊惧。

技能有罪吗？DeepFake好像的确如此。但技能真的有罪吗？却好像又与DeepFake无关。

被害人，从明星到群众

追溯起来，DeepFake 最早呈现在2016年。

其时，机器视觉仍是全球AI研讨最抢手的方向之一，一些研讨人员在研讨机器视觉的过程中运用DCNN（深度卷积神经网络）完成了人脸辨认、表情转化以及其他与图画处理相关的使命，这是DeepFake最早的雏形。

差不多一年之后，以这些技能为根底，科研人员进一步选用GAN（生成对立网络）完成了生成传神的人脸图画。之后，“换脸”很快以极具损坏性的首秀向群众展现它的威力。

2017年，一位Reddit用户在Reddit新建了一个名为“DeepFake”的社区，开端用名人的肖像来制作色情内容进行传达。闻名女星斯嘉丽·约翰逊（Scarlett Johansson）、加尔·加朵（Gal Gadot）都成为了受害者，其带来的恶劣影响，也曾喧嚣一时。

后来，这个社区尽管被很快删除了，但“DeepFake”这个姓名却被保留了下来，并成为AI组成内容的代名词。

在这个阶段，DeepFake还把握在以学术研讨为主的少量集体手中，导致它的运用依然存在一些门槛。直到2019年，开源东西FaceSwap将DeepFake的运用从学术研讨遍及到群众，然后第一个广泛盛行的DeepFake运用FakeApp就随之呈现，它让非技能人员也能轻松创立DeepFake视频。

DeepFake从此开端越来越遍及，从2019年到2020年，DeepFake一再引发各类公共工作，其影响规模也从文娱色情扩展到经济社会的各个方面，乃至包含总统推举。

而韩国新N号工作最大的一个改变在于，它阐明DeepFake的受害者正在加快平民化，未来DeepFake的受害者，不再约束于明星政要，包含你我在内，每一个人都有或许成为新的受害者。

▲DeepFake相关代表工作

现在，跟着AI大模型技能的开展，制作一张DeepFake图片的本钱简直现已能够忽略不计。

这次韩国新N号房之所以触及规模如此之广，一个重要的原因是，在Telegram上随意参加一个DeepFake的社群，就会取得两次免费的图片生成时机。

“将你喜爱的女生相片发给我。”这是许多人参加在Telegram上参加DeepFake社群的第一步。

两次免费的生成时机之后，新的内容生成尽管需求付费，但价格也并不高，每一次只需求付出一颗钻石（Telegram的一种加密钱银，约合0.49美元，3.49元人民币）。而且和一切充值办卡的逻辑相同，充得越多，价格还会越廉价。

当然，你也能够挑选不付费，那么你只需求再约请一位新朋友参加，就能够再取得一次免费生成的时机。由一个人拉来另一个人，罪恶经过熟人联系进行裂变，然后如病毒般分散[1]。

这也导致另一个问题，那些一切经过DeepFake生成的淫秽内容，都由熟人进行制作，并在熟人圈子里进行传达。

比方在韩国校园里，许多人就将身边朋友的相片用来生成淫秽色情内容。许多相片，或许就来自你刚刚生日，或许旅行之后在交际媒体发布的美照。

因为熟人的联系，这些“脸”归于谁也一般被标记住一览无余。你或许会莫名收到来自陌生人的短信或许邮件，对方能够清晰指出你校园和班级，或许你的工作单位和家庭住址，然后在结尾放上一段由“你”出演的性爱视频。

关于身处其间的受害者而言，这件工作最可怕之处在于，你不知道素日里衣冠楚楚的朋友们，会不会便是这23万人中的一员；你不知道之前发布在交际媒体的相片会不会现已被他们保存下来，然后替换到那些淫秽不胜的场景傍边。

你不知道他们会把这些相片发给谁，怎么对着这些东西对你品头论足，身边又有多少人看过这些内容。

你只知道，这个国际有一双无形的眼睛，在不为人知处静静的注视着、觊觎着你。

仅仅一场游戏

受害者们天然不会缄口不言。

8月份以来，韩国女人开端在国内外互联网途径上进行反对，要求将“加害者”依法从事。但当韩国女人四处哀告之时，加害者们却颇有一种掉以轻心，不以为然的情绪。

有韩国女孩儿截图违法者的言辞，他们将受害者的反对作为是一种女权主义，并表明“女人们对这件工作过火夸大”。

韩国媒体的报导中也说到许多有关违法者的言辞，他们说用熟人的形象制作深伪色情内容“仅仅觉得风趣”、“仅仅在恶作剧”、以及“用熟人的相片P图更真实”，而当有人说这样做犯法时，他们乃至宣布“只需傻瓜才会被被差人逮住”的言辞。

▲在微博求助的韩国网友

是的，这件让许多受害者深感苦楚的工作，在许多加害者眼中仅仅一场“游戏”。

韩国媒体Pressian报导，到本年6月，Telegram上一个名叫“朋友COCKHERO（Cock Hero）chat”的群聊中[2]，已有数百名参加者上传自己女人朋友的相片或视频，然后运用DeepFake将它们制作成淫秽内容。

他们群聊里共享资料和自己制作的内容，乃至有人在群里表明，“请用我的朋友制作的Cock Hero并共享一些感触”，并将其视为一种荣誉。当然，他们也会对受害女人的表面，以及被性克扣的或许品头论足。

在这个过程中，参加者被要求供给更多的资料，并表明“供给女人朋友的相片和视频越多，生成的深伪内容质量就越好”。

当然，这也仅仅数千乃至上万个Telegram群聊中的一个，没有人知道Telegram上这样的群聊有多少。

而跟着参加者的逐步增多，这场由所谓“打趣”引发的深伪色情内容制作正在变得越来越有组织，有预谋，并逐步有脱离网络违法领域的痕迹。

韩国媒体报导，现在现已有越来越多的受害者收到恫吓内容。施暴者经过制作深伪色情内容对受害者进行要挟，并索要金钱。许多加害者乃至开端评论，怎么将受害者劫持并将其变成性奴隶。

正好像潘多拉魔盒里的罪恶，DeepFake也正在突破其“虚拟”的特点，变得一发不可收拾。

DeepFake，法外之地？

面对这些问题，许多人必定会有一个直接的疑问：法令莫非不论吗？

答案是管，但管得不多，且不同国家和区域法令能够干涉的程度也有所不同。

比现在天DeepFake内容众多最严峻的韩国，尽管在2019年的“N号房”工作和2020年“传达虚伪视频”工作后，韩国当局在《性暴力处分法》中增加了“数字性违法”的概念和相应的处分条款，但束缚才能真实有限。

与不合法拍照的视频不同，在韩国，单纯具有和观看深度假造视频是不会遭到处分的。而即便你运用DeepFake制作了损坏受害人品格的不合法深度假造图画或许视频，但只需你说你没有“以传达为意图”，你依然能够防止遭到赏罚[3]。

这也是韩国在处理新N号房工作时呈现十分多十分戏剧性事例的原因。

比方在本年一场针对Telegram上制作DeepFake内容的社群进行调查时，尽管警方知道社群的参加人数到达1200人，但却仅有一人被捕。而他被捕的原因，是他将群里的DeepFake内容传到达了其他当地。除了他之外，这个社群包含运营方在内，没有一个人遭到赏罚。

除了韩国之外，美国、英国、欧盟针对DeepFake的内容也都有相应的法令，但各个国家的侧重点和维护力度有所不同。

其间，美国的相关法令更倾向于维护政治推举的可靠性。

加利福利亚州清晰提出制止DeepFake在政治和性损害方面的施暴，而且条款详细，比方提出“制止在推举前60天内传达或许影响推举成果的虚伪视频”。

但在联邦层面上，美国缺少一致的DeepFake法规。各州的法令履行在跨州和跨国案子中面对困难，尤其是在触及跨境的DeepFake内容传达时，这些法令或许面对履行力缺乏的状况。

英国的《诋毁法》能够用于冲击触及DeepFake的诋毁行为，但这种法令一般需求受害者自动提起诉讼，本钱高、时间长，普通人或许难以担负。

尽管英国清晰对传达途径做了规则，但DeepFake内容的跨国性传达使得法令的履行复杂化，或许削弱其实际效果。

欧盟的法令相对比较严厉，《一般数据维护法令》（GDPR）和《数字服务法》（DSA）经过严厉的隐私维护和数字内容办理要求，对DeepFake技能的乱用进行约束，并对违反规则的公司施加了高额罚款。这些法令要求途径对DeepFake内容负有更高的职责，有必要自动监测和移除虚伪信息。

▲国际各国DeepFake法令法规一览

而与大多数国家不同，我国针对DeepFake的内容，特别是触及淫秽色情内容的部分，办理要愈加严厉。

本年3月份，杭州互联网法院就曾审结一同关于运用AI换脸传达淫秽色情内容的案子。

这个案子发生在2020年，和韩国人在Telegram上的玩法相同，案犯经过AI东西制作换脸视频，然后在交际软件上创立社群进行分发。

案犯创立的社群名叫“阅读群”和“私家订制群”。阅读群主要用来传达DeepFake视频，吸引观众和客户；定制群则支撑付费定制，依照5分钟300元，10分钟500元的规范收费。案犯在审理中表明，“只需能看到脸的都能换，有人乃至要定制暗恋女生的换脸视频。”

经过审理，该案犯最终因侵略公民个人信息，以及制作、传达淫秽物品牟利罪被判有期徒刑七年三个月。

经过这个案子咱们也能看到，在我国经过DeepFake制作色情内容进行传达，其违法本钱要比国外高许多。

这样的优点天然是我国没有呈现DeepFake内容大规模众多的问题，但另一面，也有更多人开端不满足于高风险低报答的情色内容制作，而开端逼上梁山，经过AI换脸技能进行电信欺诈。

能够看到，在我国违法本钱比在韩国要高许多。所以许多人运用AI换脸技能，并不是制作淫秽色情内容，而是电信欺诈，而这种DeepFake也不止约束于面貌，乃至包含声响和个人身份信息。

2022年以来，跟着生成式AI技能的开展，国内电信欺诈案子继续高涨。

20多年前的2000年，我国刑事案子中偷盗案子占比最多，到达总量的60%，反扒小组曾一度成为一个专门的差人编队。20多年后的今日，网络电信欺诈取而代之，成为新的“年代罪恶”[4]。

据我国差人协会最新数据，2024年上半年，欺诈占刑案的份额上升至60%，其间绝大部分是网络电信欺诈。这是一个年代的变迁。

技能的开展，好像在给这个社会带来更多的痛苦。

结语

在前史的传统叙事中，人们喜爱将DeepFake这样的事物归结为原罪，比方魔丸转世的哪吒，或许希腊神话中的阿多尼斯。但现代社会，咱们并不这么思考问题。

2014年，因P2P（peer to peer）共享传输技能而成为“宅男神器”的快播轰然坍毁，创始人王欣被拘捕。两年之后，王欣在案子庭审中为自己和快播做出了一番经典的辩解——技能无罪。

在王欣的理论中，自己和快播仅仅发明了一项技能，至于用户拿他做什么，与他无关。

但这件工作并没有答复，为什么技能带来的罪恶依然一再呈现。直到两年后，在间隔王欣受审的法院不到20公里的当地，腾讯研讨院举办了一场活动，它的主题是“科技向善”。

食，色，性也。

技能开展的难点，除了技能自身之外，更实质的难点在于，怎么约束撬动人道“恶”的杠杆。而在腾讯的理念中，运用技能的人自身应该承担起这样的职责，人类应该善用科技，防止乱用，根绝恶用。

现在，科技向善现已被越来越多企业承受，成为我国技能开展的一项底层理念，但科技向善，却是一个更持久的课题。

参考资料：

[1]韩民族日报《딥페이크 텔레방에 22만명…입장하니 “좋아하는 여자 사진 보내라”》记者 박고은

[2]ZUM《[단독] '딥페이크→리듬게임→챌린지'…게임으로 진화한 '지인능욕'》作者 첫 댓글을 작성해보세요

[3]韩民族日报《서울대 이어 또 대학 ‘딥페이크 성범죄물’ 공유방…참가자 1200명》记者 이지혜

[4]凤凰网《欺诈已占刑事案子60%：上海反诈中心看望实录》作者 燕青