火狐体育娱乐在线官网

火狐体育娱乐在线官网

火狐体育娱乐在线官网

当前位置: 首页 > 火狐体育娱乐在线官网

中国科学院院士何积丰:应对大模型的安全问题需设好“紧箍咒”

时间: 2024-10-20 08:13:23 |   作者: 火狐体育娱乐在线官网

产品概述

  9月7日消息,在今日开幕的2023 INCLUSION·外滩大会上,表示,大模型的安全问题主要是在未经同意的情况下,收集、使用和泄露个人隐私信息。隐私问题既有几率发生在训练过程,也有几率发生在使用的过程中,而大模型的生成能力则让“隐私泄露”的方式变得多样化,造成隐私保护更加困难。

  “为了应对这样一些问题,我们应该大模型对齐技术。”何积丰说,“对齐(alignment)”是指系统的目标和人类价值观一致,使其符合设计者的利益和预期,不会产生意外的有害后果。“如果把AI看作西游记里的孙悟空,‘对齐’就是唐僧的紧箍咒。有了紧箍咒,就能够保证技术不会任意使用能力胡作非为。”

  不过,对齐技术同样面临挑战。首先,对齐的基础,人类的价值观是多元且动态变化的,需要保证大模型为人服务、与人为善;其次,大模型的有用性与无害性之间目标也不完全一致。如何对错误进行相对有效纠正,设好大模型的“紧箍咒”也是挑战。

  因此,对齐技术已成为了一项令人眼花缭乱的跨学科研究,不仅考验技术,也审视文化。

  何积丰介绍,反馈强化学习是实现对齐的技术途径,目前有两种方式,一种方式是通过人工反馈给模型不同的奖励信号,引导模型的高质量输出;另一种方式,事先给大模型提供明确的原则,系统自动训练模型对所有生成的输出结果提供初始排序。“这在某种程度上预示着,不仅智能系统要向人类价值观对齐,人类的训练方法也要向价值观对齐。”何积丰说。 (一橙)

  商丘夏邑官方通报“医院勾结机构”事件:责令医院停业,5人被采取刑事强制措施

  OpenAI转型盈利性企业 微软近140亿美元投资如何转股?谈判已开启

  豪门悲喜夜:凯恩3球拜仁4-0大胜 10人阿森纳0-2首败 曼联2-1逆转

  《编码物候》展览开幕 北京时代美术馆以科学艺术解读数字与生物交织的宇宙节律