1. 使用Stable Diffusion生成的AI图像。 　　2. 社交平台上已出现不少被指利用AI生成图像假扮真人的账号。

　　3. 有人在网上发布由AI生成的美国前总统特朗普被捕照片。 　　4. 闲鱼上，多名卖家声称可提供真人模型训练服务。

　　3月21日，数张美国前总统特朗普“被捕”照片在互联网上流传。尽管相关图片很快被认出是AI作品，但仍引发大量网友关注和传播。南都大数据研究院发现，特朗普并非AI绘画技术的唯一相关者，事实上，多个基于真人形象训练而成的AI模型早在网上流传。在国内，已有人在闲鱼平台兜售相关模型及其训练服务，社交平台上甚至已有账号利用AI生成图像假扮真人。据悉，针对其带来的安全风险，国内其实早已布局相关法规。中央网信办网络管理技术局局长于永河近日在撰文中强调，使用深度合成服务的组织和个人应主动承担起信息安全义务，不得利用深度合成服务从事侵犯个人隐私、制作传播虚假信息等违法违规活动。

　　A

　　30秒即可生成拟真图像 手机上也可运行

　　凭借媲美真实照片的质感、高度接近真人的样貌，这几张由AI生成的美国前总统特朗普被捕照片在互联网上引发热议。在网民追问下，作者承认其使用了AI绘画模型Midjourney来生成这些图片。不少网友惊讶于AI强大的生成能力，并开始担忧相关技术被用于造谣传谣的可能性。

　　南都大数据研究院监测发现，在Midjourney吸引大批网民目光的同时，另一个名为Stable Diffusion的AI绘画模型已悄然走红。据介绍，该模型可在普通家用电脑运行，并通过叠加不同子模型，生成不同风格的图像，其中就包括模拟真实照片风格。

　　Stable Diffusion是否真如宣传所言般强大？南都研究员从网络渠道取得一份模型整合包。实测发现，该模型在南都研究员的个人电脑上确实成功运行。根据教程指引，南都研究员尝试向AI提出了几个作图关键词(像照片般逼真、基于物理渲染、一个女生、戴眼镜、连帽衫、看向镜头、城市景观)，等待约30秒后，AI便生成了一张质量颇高且符合关键词要求的拟真图像。

　　这款Stable Diffusion模型来自哪里？南都研究员检索发现，这是一款由创业公司stability.ai于2022年8月发布的AI绘画模型，目前已更新至2.0版本。

　　与DALL-E、Midjourney等其他AI绘画模型相比，Stable Diffusion的一大特色是代码开源，这意味着第三方开发者也可免费使用该模型，或在其基础上增添内容。在开源项目托管平台GitHub上，已有超700个与Stable Diffusion相关的代码项目。

　　在众多开发者的合力支持下，Stable Diffusion快速迭代，对运行设备的要求不断下降。如今已实现在普通家用电脑、甚至手机上也能运行。

　　B

　　40张照片即可生成 已被用于制造“假新闻”

　　在AI训练方面，Stable Diffusion也接近实现零门槛。有开发者在Stable Diffusion的基础上加入了一项模型微调技术——LoRA(Low-Rank Adaptation)。在该技术的支持下，用户只需准备少量图片素材，即可训练出一个LoRA模型，并生成与素材内容高度相似的图像。

　　实践证明，这项LoRA技术运用在真人模型训练上效果相当显著。在社交平台上，已有网友分享利用自己照片训练而成的LoRA模型。从网友反馈的训练结果可以看到，只需投入约40张照片作为素材，AI就能生成一个高度接近真人样貌的模型。

　　当然，使用AI为自己打造一个“赛博分身”，从训练素材到练成模型，相关数据全部由自己掌控，安全风险或可控；但如果有人私下收集你的照片再拿去训练，情况就不一样了。

　　南都研究员深入调查发现，在国外某AI模型分享网站上，已有人将基于真人形象训练而成的模型上传并允许其他用户下载。该网站数据显示，多个真人模型的下载量已经过万。

　　此外，通过stability.ai公开的说明文档以及Github上的代码说明，南都研究员发现，虽然该AI模型名为Stable Diffusion(稳定扩散)，但其道德感一点也不“稳定”。由于其开源性质，开发者无法对Stable Diffusion作出任何有效的内容生成限制和过滤。用户只需在对AI输入指令时强调黄色或暴力等关键词，AI就会完全服从并生成对应图像。

　　事实上，不少用户已经发现该项缺陷。在前文所述的模型分享网站，南都研究员发现了多张以知名艺人形象为基础生成的不雅图片。

　　除Stable Diffusion外，另一款AI绘画模型Midjourney的道德限制同样可被绕开，进而生成大量“假新闻图片”。

　　据南都大数据研究院监测，基于Midjourney生成的“特朗普被捕”虚假图片在社交平台流传后，很快有其他网民察觉到AI绘画模型这一“新功能”，开始利用该模型针对不同政治人物创作各种“假新闻”。

　　C

　　大量卖家在线兜售 技术爱好者呼吁纠正社区氛围

　　南都研究员还发现，已有国内网民不满足于利用AI模型制图“整活”，开始尝试“技术变现”。

　　在闲鱼平台上，南都研究员发现大量卖家在公开兜售Stable Diffusion模型，其介绍页面大多配有高度接近真人照片的图像，并声称可提供详细使用教程，“包教包会”。

　　深入了解发现，闲鱼上甚至还有卖家提供LoRA模型代训练服务，其中多名卖家表示可训练真人模型。在问及会否存在侵权等法律风险时，有卖家表示“不要往外发，自己私下玩玩就好”。更有卖家向南都研究员展示自己拥有的大量LoRA模型。

　　通过大规模检索，南都研究员在小红书等国内社交平台上发现不少利用AI生成图像假扮真人的账号。在这些账号的评论区中，尽管有部分网友辨认并指出图像为AI生成，但有更多网友已误认为图像是真人出镜。

　　面对AI模型带来的安全风险，以及已经出现的滥用趋势，开发者如何应对？是否还有补救措施？南都研究员发现，越来越多技术爱好者留意到AI拟真图像传播愈演愈烈的趋势，正积极尝试纠正社区氛围，避免更多人走上歪路。

　　ChilloutMix是一款由日本开发者制作的、基于Stable Diffusion训练而成的模型，因为在生成东亚女性样貌上表现出色而大受青睐，多个真人模型正是在其基础上衍生。由于网上流传的真人模型越来越多，开发者一度将该模型下架。后来，该模型版权被转移至模型分享网站运营方，并声明禁止将模型用于训练基于明星、公众人物肖像的风格模型。

　　随后，多名模型制作者也在个人页面中补充声明，要求用户不将模型用于不当用途。多名用户也在评论区留言，希望共同营造良好社区氛围。有网民明确指出：制作真人模型不能展现你对偶像的喜爱，反而是在侮辱、物化你的偶像。也有网民提醒，网上已经出现利用真人模型进行诈骗的案例，希望制作者将模型下架，避免AI技术沦为犯罪温床。

　　不过，其中一名模型制作者向南都研究员承认，受限于Stable Diffusion极其脆弱的道德限制，这些声明只是一种提醒，无法起到真正的约束作用，要从根源上阻断这一趋势，只能期待监管部门和开发者有所作为。

　　南都研究员留意到，在stability.ai新推出的Stable Diffusion Reimagine工具中，已经加入了一个新的过滤器，用于阻止不适当的请求。

　　调查过程中，也有多名技术爱好者向南都研究员表示，AI技术研发的初衷是进一步为人类工作生活提供便利，而非打造又一个违法工具，希望监管部门能及时治理相关滥用情况，切断违法链条，还AI社区一个良好氛围。

　　针对AI技术出现的滥用风险和部分开发者所发表声明，有法律界人士向南都研究员表示，无论是否营利，只要是未经肖像权人同意，擅自利用真人素材进行AI训练，该行为都已侵犯对方肖像权；此外，若网民明知图片由AI生成，仍将图片用侮辱、诽谤等方式进行传播，则涉嫌侵犯对方名誉权。也有法律界人士认为，“AI技术的滥用其实不难应对，很多违法行为都已有适用条文，只要及时依法处罚存在的违法犯罪行为，就能够有效地防范AI技术的滥用。”

　　据悉，今年3月以来，陆续有多个AI模型更新或上线绘画功能：3月16日，百度“文心一言”对外发布，并展示包括图片生成在内的多模态生成能力；3月19日，AI绘画模型Midjourney推出V5版本，同时公开多张可媲美真实照片的AI作品；3月21日，微软Bing上线基于DALL-E模型的在线AI绘图功能；3月22日，Adobe公司发布名为Firefly的图像生成AI模型。不难看出，AI绘画正在成长为下一个风口，多家企业正尝试在AI绘画领域打造下一个“ChatGPT”。装好保险，用于正道，AI技术也将驱动我们的新旅途。

　　案例

　　企业AI伪造人脸 涉案金额超百万

　　南都研究员检索发现，国内已有针对滥用AI技术违法犯罪的相关案例。

　　2021年，江苏常州警方破获一起利用AI技术伪造人脸识别认证的犯罪团伙案件。据介绍，当地警方发现一家非法从事证书挂靠行业的公司利用AI换脸技术“伪造人脸”，帮助想要挂靠的专业人员在相关政务网站上进行识别认证。经过侦查，警方在江苏、河南等地抓获嫌疑人8名，查获各类非法注册认证的建筑业资质1000多组，涉案金额120多万元。

　　2022年底，杭州互联网法院审理一起因“AI换脸”App利用深度合成算法侵害他人肖像权的案件：被告上海某公司运营一款“AI换脸”App，并在其中使用了原告楼某某拍摄的视频模板。杭州互联网法院经审理认为，被告未经原告同意，利用深度合成技术使用其肖像制作了伪造视频，依法应认定构成对原告肖像权的侵害，判决App开发者赔礼道歉并赔偿损失共计5000元。

　　监管

　　●2019年11月

　　国内首个针对“AI造假”的监管措施出台，国家网信办、文旅部和广电总局等三部门联合发布《网络音视频信息服务管理规定》，明确“利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播非真实音视频信息的，应当以显著方式予以标识”“不得利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播虚假新闻信息”。

　　●2021年1月1日起

　　《民法典》正式实施，明确规定“任何组织或者个人不得以丑化、污损，或者利用信息技术手段伪造等方式侵害他人的肖像权。未经肖像权人同意，不得制作、使用公开肖像权人的肖像，但是法律另有规定的除外”。

　　●2023年1月10日起

　　国家网信办、工信部、公安部联合出台的《互联网信息服务深度合成管理规定》正式施行

　　明确“任何组织和个人不得利用深度合成服务制作、复制、发布、传播法律、行政法规禁止的信息，不得利用深度合成服务从事危害国家安全和利益、损害国家形象、侵害社会公共利益、扰乱经济和社会秩序、侵犯他人合法权益等法律、行政法规禁止的活动”。

　　观点

　　特别防范建模过程中 引入的歧视性观点或规则

　　近日，中央网信办网络管理技术局局长于永河在《中国网信》杂志上撰文谈及深度合成技术的现实危害与潜在风险。他指出：“利用深度合成技术生成的虚假信息日益增多，滋生谣言、混淆视听，大幅削弱社会信任度。一些不法分子利用深度合成技术恶意制作违法有害信息，并通过社交网络发布、传播，诋毁他人名誉、侵犯个人隐私，或利用深度合成技术仿冒他人身份实施诈骗，严重扰乱网络传播秩序和社会秩序，危害公众利益、国家安全和社会稳定。”

　　在问题治理方面，于永河提出要压实各方主体责任，多层推进深度合成技术治理。一是立足源头管理：技术支持者要从技术源头上加强数据和算法管理，确保训练数据客观公正、合成模型安全可控，特别要防范在建模过程中引入歧视性观点或规则，带来安全隐患。二是体现过程管理：服务提供者要在用户注册、信息发布、应急处置、技术保障等多环节中，全面落实全流程管理责任。三是聚焦结果管理：使用深度合成服务的组织和个人应主动承担起信息安全义务，不得利用深度合成服务从事侵犯个人隐私、制作传播虚假信息等违法违规活动。四是突出渠道管理：互联网应用商店等应用程序分发平台应落实平台主体责任，主动核验应用程序的安全评估、备案等情况，发挥对深度合成应用的上线把关作用。

　　出品：南都大数据研究院 数据安全治理与发展研究课题组

　　采写：南都研究员 李伟锋 实习生 陈嘉宝 余欣贤 吴静仪