浙江首例，用ChatGPT制作虚假视频，她被警方抓捕
7月6日，被视为全球AI行业风向标的世界人工智能大会在上海开幕，从大模型、芯片到机器人，大会集中展示了当前人工智能技术在各领域的赋能“进度表”。
人工智能引领新一轮科技革命和产业变革是它的“A面”，让人赞叹、惊喜，但它的“B面”却正在引发一场看不见的安全攻防战。
7月4日，绍兴警方公布摧毁了一个利用ChatGPT制作虚假视频的团伙，该案系浙江全省首例。 让人惊异的是，当事人落网之时，并非人们想象中的黑客高手，而是一个连电脑都不能熟练操作的技术“小白”，这样的结果更加让人对人工智能的“B面”感到担忧。
“要使科学造福于人类,而不应成为祸害。”90多年前，爱因斯坦对加利福尼亚理工学院学生所说的话揭示了科技的“双刃剑”效应。人工智能“B面”究竟长什么模样，“造物者”如何对抗自己创造的“敌人”？
2023世界人工智能大会于7月6日至8日在上海举行。来源：新华社
1分钟制作虚假视频
直到被捕，正在家带孩子的汤某都不知道自己为何违法。
今年6月，一则“上虞工业园区发生火灾”的视频在某平台发布，短时间内视频浏览量迅速攀升，给当地造成不小的影响。 然而，上虞警方经过核实，发现视频内容完全为虚假信息。 这引起警方的注意，在锁定外省某网络科技公司有较大作案嫌疑后，警方立刻赴外省实施抓捕，抓获包括汤某在内的3名犯罪嫌疑人。
今年6月，一则“上虞工业园区发生火灾”的视频在某平台发布
汤某今年36岁，初中文化。今年两三月份，她入职了亲戚创办的网络科技公司。刚开始，她每天的工作就是用手头几十个账号发发短视频，如果视频点击流量数据可观，就能拿到相应的提成。对一个家庭主妇来说，这是一份性价比很高的工作。
入职一段时间后，公司的小组长向她传授用AI技术自制视频的方法，短短几天，连电脑都用不太明白的汤某就成了视频制作的“熟练工”——利用ChatGPT技术，自动生成“脚本”和相关视频素材，最后一键生成有音乐、字幕的虚假视频，时间最快只需要1分钟。
经过调查，上虞警方发现犯罪嫌疑人张某和陈某合伙创办的这家网络科技公司，已非法购买视频账号1500余个，发布未经核实视频3000个以上，获取流量后通过流量算法返款盈利。 目前，三人均以寻衅滋事罪被警方采取刑事强制措施，案件正在进一步侦办中。
滥用人工智能技术，不仅降低了违法犯罪行为的“门槛”和成本，让复杂的“技术活”变成简单的“体力活”，同时衍生出全新形态的违法犯罪，加大了公安机关的打击难度。这是不少我省参与一线办案民警的深切感受。
2017年，绍兴警方历经半年，辗转13省，侦破全国首例利用AI（人工智能）犯罪、侵犯公民个人信息案。犯罪团伙利用人工智能深度学习技术，让机器自主操作并识别图片、字母、数字等验证码，轻松绕过互联网公司设置的账户登录安全防护，给网络诈骗等网络犯罪提供便利。
今年3月，广东广州一女子在地铁上的照片被人以AI技术“一键脱衣”，造谣图在网络广泛传播，给当事人造成巨大困扰。今年5月，内蒙古包头警方发布一起利用人工智能实施电信诈骗的典型案例，受害者被“AI换脸”误导，10分钟内被骗430万元。
除了制作虚假视频、电信诈骗等已“浮现”的犯罪形态外，2020年，英国伦敦大学学院发布的一份报告，还列举了未来15年人工智能可能被用于犯罪的不同方式，如非法控制自动驾驶汽车、破坏信息系统、AI辅助跟踪、自主攻击无人机、以及大规模网络勒索等。
人工智能似乎正呈现出可怕的“B”面。
“魔法”可以打败“魔法”吗？
“人工智能该不该按下‘暂停键’？”随着AI的安全风险越来越被重视，今年以来，一场激烈的辩论在世界“科技圈”内持续进行。
今年3月底，非营利组织“未来生命研究所”发出一封“呼吁所有AI实验室立即暂停对比GPT-4更强大的AI系统训练至少6个月”的公开信，包括埃隆·马斯克，图灵奖得主杰弗里·辛顿等一众科技界“大佬”均在联合署名者名单中。公开信还写道：“只有在我们确信它们有积极效果且风险可控时，才应研发强大的人工智能系统。”
人工智能为何不被人所信任？
在绍兴这起案件侦破后，潮新闻记者在ChatGPT上提了一个问题：如果有人利用你实施犯罪，你会怎么办？
ChatGPT的回答是，首先我要声明，作为一个语言模型，我没有实际存在的身体或能力参与犯罪行为，我只是一个通过文本进行交流的人工智能程序。因此，建议你与执法机构联系、汇报给技术公司或者寻求法律援助。
ChatGPT很“聪明”地撇清了自己的责任，只是在文末善意提醒：“记住，合法和道德使用技术是每个人的责任”。
透过和ChatGPT这番对话，我们看到目前的人工智能应用似乎仍有局限性，“AI”认为它只是扮演一个“执行者”的角色，其自身难以识别出使用者的真正意图。这是否意味着，在技术基层面难以规避利用人工智能技术产生的犯罪，“魔法”难以打败“魔法”？
浙江大学求是讲席教授、网络空间安全学院院长任奎给出的答案是否定的。他告诉潮新闻记者，以ChatGPT为代表的生成式人工智能为例（指基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术），在模型使用阶段的“前端”，即应对输入ChatGPT的语义信息进行提取审查，确保其不会诱导模型生成有害内容。在“终端”上可以利用深度合成检测技术，分析图像、视频等内容的特征，从而判断其是否经过合成或修改，及时发现生成内容中的虚假成分。
任奎教授的观点也得到了上海交通大学宁波人工智能研究院人工智能智慧教研中心主任、可之科技董事长王冠的认可。例如“数字水印”技术也是一种防止AI被滥用的防范措施。即通过在图片、视频等数字内容中嵌入特定信息，当AI“抓取”这些内容时，“数字水印”也同步被采集，这样就可以轻松追踪和验证内容的真实性和来源。就好像农产品上的溯源码一样，用户通过扫码就知道它的生产、流通等信息，判断接收到的产品是否真实可靠。
事实上，以“白AI”限制“黑AI”的反制技术，已在一些应用场景上得以实现。如针对AI换脸，目前，清华大学孵化团队瑞莱智慧RealAI、腾讯优图实验室等企业机构已构建人脸合成检测平台并发布针对性的检测产品，支持对多种换脸方法进行检测。
中国科学院院士、清华大学人工智能研究院院长、北京瑞莱智慧科技有限公司首席科学家张钹曾提出了“第三代人工智能”的概念，即安全、可靠、可信的人工智能。这一观点已逐步成为人工智能行业从业者的共识，布局人工智能安全的产品和解决方案也在成为一片行业的新蓝海。
“国家队”正在出手
防止人工智能技术被滥用，仅仅依靠行业自律远不够，中国互联网协会监管支撑部主任郝智超建议，AI技术发展还要有相关法律法规来画红线、踩刹车，让AI技术的研发、传播、使用有规可循。
从全球来看，今年以来， AI立法进程明显提速，世界各国的监管都在追赶AI的演化速度。
今年6月，欧洲议会以499票赞成、28票反对和93票弃权，高票通过了《人工智能法案》（AI Act）谈判授权草案。欧洲议会称“已经为制定史上首部人工智能法案做好谈判准备”。
与此同时，美国总统拜登释放管控AI信号，有美国国会议员提交了AI监管立法提案。美国参议院民主党领袖查克·舒默展示了他的“人工智能安全创新框架”，并计划在短短“几个月”内制定联邦层面的人工智能法案。
我国同样已经开始探索并逐步构建完善的人工智能监管体系。此前，已有《新一代人工智能发展规划》《互联网信息服务深度合成管理规定》等文件正式公布。2023年4月份，国家网信办起草《生成式人工智能服务管理办法（征求意见稿）》并向社会公开征求意见，提出AI内容必须真实准确，禁止非法获取、披露、利用个人信息和隐私、商业秘密。
近期，国务院办公厅发布的《国务院2023年度立法工作计划》还将人工智能法草案列为预备提请全国人大常委会审议项目，表明相关立法已提上日程。
在立法规范中，如何保护人工智能技术的健康发展，也是业界普遍关心的问题。
长期关注人工智能技术发展的浙江合创律师事务所合伙人丁杰认为，在相关法律法规制定中，应充分考虑人工智能技术具有的“两面性”，不能“因噎废食”，要鼓励科研人员和科技企业开展技术创新，抢占产业先机。他表示，从现有的以及计划中的监管体系来看，主要在于抑制AI技术带来的负面效应，并不会限制技术发展。
在接受媒体采访时，西南政法大学人工智能法学院教授朱福勇表示，通常在人工智能技术发展初期，不宜采取过于严苛的监管措施，当技术成熟、市场需求增长、风险和问题日益突出的时候，则应加大监管强度。当前情势下，坚守价值引领与技术“纠错”并行、秩序保障与创新提升协同、权益维护与义务承担对称，是最恰当的平衡之道。
来源：潮新闻
支付清算协会倡议：从业人员谨慎使用ChatGPT等工具
每经记者：宋钦章 每经编辑：陈星
4月10日，中国支付清算协会发布《关于支付行业从业人员谨慎使用ChatGPT等工具的倡议》，引发业内关注。协会倡议业内提高思想认识，依法依规使用；不上传关键敏感信息；会员单位加强内部管理和引导。
关于ChatGPT，一家来自华南的收单机构表示，目前ChatGPT在支付业务上应用场景有限。
易观分析金融行业高级咨询顾问苏筱芮在接受每经记者采访时表示，金融尤其支付属于数据密集型行业，更要关注个人隐私保护、信息安全防护；ChatGPT这个工具是境外的，这两年国内非常重视各类数据跨境流通的合规问题，把工作中的数据输入到国外工具里涉嫌违规。
倡议业内谨慎使用ChatGPT
中国支付清算协会表示，近期，ChatGPT等工具引起各方广泛关注，已有部分企业员工使用ChatGPT等工具开展工作。但是，此类智能化工具已暴露出跨境数据泄露等风险。为有效应对风险、保护客户隐私、维护数据安全，提升支付清算行业的数据安全管理水平，根据《中华人民共和国网络安全法》《中华人民共和国数据安全法》等法律规定，中国支付清算协会向行业发出倡议。
一是提高思想认识，依法依规使用。支付行业从业人员要遵守所在地区的网络使用规定，正确认识ChatGPT等工具的机遇和风险，全面评估使用ChatGPT等工具处理工作内容的风险，依法合规使用ChatGPT等工具。
二是不上传关键敏感信息。支付行业从业人员在使用ChatGPT等工具时，要严格遵守国家及行业相关法律法规要求，不上传国家及金融行业涉密文件及数据、本公司非公开的材料及数据、客户资料、支付清算基础设施或系统的核心代码等。
三是会员单位加强内部管理和引导。会员单位要进一步健全信息安全内控管理制度，开展有针对性的数据风险防控工作，加强宣传和引导，提升员工的风险防范和数据保护意识，切实维护国家金融及支付清算行业安全。
有支付公司称应用场景有限
在被问及工作中有没有使用ChatGPT时，各家支付公司答复不一。
一家来自华南的某收单机构在接受每经记者电话采访时表示，公司在本地生活业务而非支付业务领域应用了类似ChatGPT的AIGC（人工智能生产内容）工具，主要用于帮助商户进行视频剪辑、文案生产等方面。在支付业务领域，目前的应用场景有限，“我们线下业务的开展主要还是靠人力推广，一家店一家店地拓展，（ChatGPT）对我们来说应该影响不大。”
华北的一家支付公司在微信里告诉每经记者：“我们没有使用这个工具。”
博通分析金融行业资深分析师王蓬博表示，ChatGPT是一个人工智能技术驱动的自然语言处理工具，需要对数据库不断更新，运行逻辑是通过大量的文本收集、数据训练回答客户问题，而金融从业者若想使用ChatGPT则需要添加内容数据做训练，需要经过数据不断填充才能进化，那就一定会存在金融数据隐私及安全问题，即使用户是无意识的行为，也非常有可能造成个人信息和数据的泄露。
“金融行业是一个严监管的行业，对于个人信息和相关的商业数据特别敏感，更应该注意这方面的问题。金融机构要想使用类似的产品，起码先进行可控范围的评估，做好预防措施以后再进行应用。预计在数据安全相关法律法规的框架范围内，未来是有可能出台相关补充监管政策的。”王蓬博说。
苏筱芮在接受每经记者微信采访时表示：“第一，金融尤其支付属于数据密集型行业，更要关注个人隐私保护、信息安全防护；第二，ChatGPT这个工具是境外的，这两年国内非常重视各类数据跨境流通的合规问题，把工作中的数据输入到国外工具里涉嫌违规。”
苏筱芮补充，建议大家做好合规工作，重视信息安全和数据合规。
据报道，当地时间3月31日，意大利个人数据保护局宣布，从即日起禁止使用聊天机器人ChatGPT，并限制开发这一平台的OpenAI公司处理意大利用户信息。同时个人数据保护局开始立案调查。个人数据保护局认为，3月20日ChatGPT平台出现了用户对话数据和付款服务支付信息丢失情况。此外平台没有就收集处理用户信息进行告知，缺乏大量收集和存储个人信息的法律依据。
每日经济新闻
相关问答
gpt润色论文违规吗?
是否违规取决于您所指的"gpt润色论文"的具体内容和情况。如果您是指使用GPT等自然语言处理模型和算法来进行论文编辑、润色和修改,则通常情况下不会被视为违规...
chatgpt调用api合法吗?
合法。因为chatgpt调用api是基于开放平台提供的服务,且没有违反任何相关法律法规,符合相关的网络监管和数据安全规定,所以是合法的。此外,许多企业和机构都会...
