统计表明，ChatGPT生成的21个程序中，有17个能直接运行，但其中 只有5个程序能勉强通过程序安全评估，不安全代码率达到76%以上。

于是，研究人员先试着让ChatGPT“想想自己生成的代码有啥问题”。

ChatGPT的回应是“没啥问题”：只要用户每次的输入都是 有效的，那么程序一定能运行！

显然ChatGPT并没有意识到，用户并不都是行业专家，很可能只需要一个无效输入，就能“引炸”它写的程序：

发现ChatGPT不知道自己写的程序不安全后，研究人员尝试换了种思路——用更专业的语言提示ChatGPT，如告诉它这些程序具体存在什么漏洞。

神奇的是，在听到这些针对安全漏洞的 专业建议后，ChatGPT立刻知道自己的代码存在什么问题，并快速纠正了不少漏洞。

经过一番改进后，ChatGPT终于将剩余的16个漏洞程序中的7个改得更安全了。

我们试了试发现，ChatGPT确实会主动拒绝写攻击性代码的要求：

大有一种“我不攻击别人，别人也不会攻击我写的代码”自信感。

程序员们在用它辅助写代码的时候，也需要考虑这些问题。

Copilot也存在类似问题

事实上，不止ChatGPT写的代码存在安全问题。

此前，斯坦福大学的研究人员对Copilot也进行过类似调查，只不过他们探查的是用Copilot辅助生成的程序，而并非完全是Copilot自己写的代码。

研究发现，即便Copilot只是个“打辅助”的角色，经过它改写的代码中，仍然有 40%出现了安全漏洞。

而且研究只调查了Copilot生成代码中的一部分，包括C、Python和Verilog三种编程语言写的程序，尚不知道用其他语言编写的程序中，是否还存在更多或更少的安全漏洞。

基于此，研究人员得出了如下结论：

ChatGPT等AI生成的代码安全性并不稳定，用某些语言写的代码比较安全，而用其他语言写的代码却很容易遭受攻击。整体来看，它们就是一个黑盒子，生成的代码是有风险的。

这并不意味着AI代码工具不能用，只是我们在使用时，必须考虑这些代码的安全性。

ChatGPT等AI生成的代码安全性并不稳定，用某些语言写的代码比较安全，而用其他语言写的代码却很容易遭受攻击。整体来看，它们就是一个黑盒子，生成的代码是有风险的。

这并不意味着AI代码工具不能用，只是我们在使用时，必须考虑这些代码的安全性。

四位作者均来自加拿大魁北克大学 （Universite du Quebec en Outaouais）。

Raphaël Khoury，加拿大魁北克大学教授，曾经在拉瓦尔大学获得计算机学士、硕士和博士学位，研究兴趣集中在计算机安全方面。

作者Jacob Brunelle和Baba Mamadou Camara也都来自加拿大魁北克大学。

你用ChatGPT写过代码吗？感觉它的“安全意识”如何？

论文地址：

https://arxiv.org/abs/2304.09655

生成代码数据集：

https://github.com/RaphaelKhoury/ProgramsGeneratedByChatGPT

- EOF -

点击标题可跳转

0、极客专属：几十款程序员秒懂的 T恤

1、 GPT-4 Copilot X 震撼来袭！AI 写代码效率 10 倍提升，码农遭降维打击

2、 4个令人惊艳的ChatGPT项目，开源了！

3、 巨头宣布：裁员超 90%，补偿 N+3

伯乐在线

分享IT互联网职场和精选干货文章（原域名已不再维护）。组织维护10万+star的开源技术资源库，包括：Python, Java, C/C++, Go, JS, CSS, Node.js, PHP, .NET 等。

回复 资源获取10万+star开源资源

点赞和在看就是最大的支持❤️返回搜狐，查看更多