近日，香港中文大学（深圳）理工学院赵俊华教授团队在Cell子刊《Patterns》发表题为“AI-enabled image fraud in scientific publications”的论文并被选为当期的焦点论文。

下载链接：

https://www.cell.com/patterns/fulltext/S2666-3899(22)00103-9

期刊介绍

《Patterns》杂志是细胞出版社（Cell Press）的子刊，同时也是开放获取期刊。《Patterns》发表数据科学的原创研究，特别关注所有研究人员在处理数据时面临的跨学科问题的解决方案，以及关于数据集、软件代码、算法、基础设施等的文章，并与这些研究成果永久链接。《Patterns》还通过发表评论文章和评论文章来促进跨社区对话。

研究背景

破坏科学论文中的图像完整性可能会导致严重后果。不当复制和伪造图像是这方面的两种常见不当行为。人工智能技术的快速发展为我们带来了有前途的图像生成模型，可以产生逼真的假图像。在这里，我们展示了这种先进的生成模型威胁着学术界的出版系统，因为它们可能被用来生成无法有效识别的虚假科学图像。我们展示了这些生成模型在合成假图像、抄袭现有图像和故意修改图像方面的令人不安的潜力。通过视觉检查、图像取证工具识别这些模型生成的图像非常困难，和检测工具由于用于处理图像的生成模型的独特范式。这种观点揭示了巨大的风险，并引起了科学界对人工智能(AI) 模型生成的虚假科学图像的警惕。

研究内容

人们认识到，学术出版的伦理问题对科学发展极为重要。重要科学结论因学术不端行为受到质疑的消息通常受到广泛关注。

这一文章报告了学术出版物中基于人工智能 (AI) 生成技术的潜在图像欺诈的巨大风险。本文讨论了用于学术造假的 AI 算法的场景、能力和效果。从这个角度描述的问题不仅与计算机科学家有关。作为科学界的成员，我们每个人都将深入参与同行评审过程。我们每个人都可能被本文中描述的 AI 图像欺诈方法所欺骗。虽然开发的算法本身属于计算机科学领域，但它的影响，正如这个角度所提到的，更多地涉及到更广泛的科学领域，比如生物学、医学、自然科学等。引起他们对这种威胁的关注是抵抗这种威胁的必要条件。结合最先进的人工智能研究，该观点还讨论了应对这种潜在威胁的可能预防措施。

我们讨论了学术欺诈中使用的生成模型的场景、功能和效果。我们通过可视化的跨学科案例展示了这种风险，并进行了用户研究。

图片caption：【将AI技术用于学术造假的例子。除了绿色边框的图片，其他图片均为造假图片】

本文中描述的问题不仅与计算机科学家有关。作为科学界的一员，我们每个人都将深入参与同行评审过程。除了写自己的论文外，我们还将成为审稿人或编辑。我们每个人都可能被本文描述的AI图像欺诈方法所欺骗；也许我们已经在不知不觉中被欺骗了。算法本身虽然属于计算机科学领域，但它的影响，正如我们在文章中通过案例提到的，更多地涉及到更广泛的科学领域，如生物学、医学、自然科学等。引起他们对这种威胁的关注是抵御这种威胁的必要条件——只有像 Nature 这样的多学科科学期刊才能实现这一目标。

我们的文章还将促使科学界对人工智能广泛的潜在社会影响进行新一轮的审视。人工智能带来了令人鼓舞的应用，例如 AlphaGo 和 AlphaFold，但与此同时，它正在影响现有系统。不仅人工智能研究人员应该审视和重新思考这种影响，我们每个人都应该从所有可能的方面考虑人工智能的影响。

图片caption：【使用AI技术制造的造假图片难以在同行评议中被人分辨出。现有的图像法证工具也很难检测此类造假】

作者简介

本文通讯作者赵俊华教授

赵俊华教授分别于2003年和2007年在西安交通大学和澳大利亚昆士兰大学获得学士和博士学位。赵俊华教授是香港中文大学（深圳）理工学院副教授，深圳高等金融研究院能源市场与能源金融实验室主任，深圳人工智能与机器人研究院研究员，招商银行总部特聘能源行业专家。长期从事智能电网、能源经济、低碳转型、人工智能等领域研究。在加入港中大（深圳）之前，他担任澳大利亚纽卡斯尔大学智能电网中心的高级讲师，并兼任主任科学家。他已发表了120多篇学术论文，其中60多篇发表在国内外的顶尖期刊上。他一次获得浙江省自然科学奖，两次获得湖南省科技进步奖，一次获得中电联“电力科技创新奖”，2014年IEEE电力与能源大会最佳论文奖，并4次获得国家科学技术部“F5000”中国精品科技期刊顶尖学术论文奖。2017年，因对澳大利亚能源系统研究做出突出贡献，赵俊华教授被澳大利亚达沃斯论坛（ADC Forum）授予了青年科学家奖（Young Scientist of the Future）。2021年入选爱思唯尔“中国高被引学者”。2020-21年两次被斯坦福大学与Mendeley Data评为“全球前2%顶尖科学家”；同时入选“终身科学影响力排行榜”和“年度科学影响力排行榜。他领导或参与了30多个重要的研究和工业项目，包括由澳大利亚政府资助的“智能电网，智能城市”大规模试点项目，由澳洲联邦科学院（CSIRO）资助的两个旗舰研究项目，国家自然科学基金重大研究计划、国家自然科学基金面上项目等。先后参与了国内多个电力市场的规则设计工作，其研究成果在工业界产生了重要影响，参与开发的多个软件产品先后应用于纽约爱迪生公司、港灯集团、广东省能源集团、中海油、大唐发电等大型能源企业。他是《IEEE Transactions on Network Science and Engineering》和《Energy Conversion and Economics》的编委会委员。

本文第一作者顾津锦