在斯坦福大学新的人工智能透明度测试中,OpenAI、Meta和Google的得分低得惊人

文章:《在斯坦福大学新的人工智能透明度测试中,OpenAI、Meta和Google的得分低得惊人》_配图

如果你不确定人工智能模型实际是如何工作的,以及它们是否可以安全使用,你并不孤单。

为了拉开像ChatGPT这样的黑盒工具的帷幕,斯坦福大学公布了一个专注于透明度的新标准,被称为基础模型透明度指数(FMTI)。FMTI是与麻省理工学院和普林斯顿大学合作创建的,希望激励人工智能公司对其系统更加坦率。

这项研究的合著者萨亚什·卡普尔表示:“尽管基金会模式的社会影响力在增长,但透明度却在下降,这反映出过去困扰社交媒体等数字技术的不透明。”一篇大学博客文章补充道,透明度的降低使得“消费者更难理解模型的局限性,也更难为造成的损害寻求赔偿”。

FMTI在100个不同的透明度相关维度上对10名顶级人工智能模特进行了排名。这包括,例如,它们是如何构建的,它们所接受的培训的信息,以及所需的计算资源。它还考虑有关模型使用、数据保护和风险缓解的政策。

有关指标和方法的完整清单,请查看该研究附带的110页论文。

最透明的人工智能模型是什么?

所有模特的平均得分只有37分,或37%。这项研究不以为然,称没有一位模特的分数“值得炫耀”。没有一家银行接近于提供足够的透明度。

文章:《在斯坦福大学新的人工智能透明度测试中,OpenAI、Meta和Google的得分低得惊人》_配图1

Meta的骆驼2车型以54分(满分100分)位居榜首。博士生Rishi Bommasani在该大学基金会模型研究中心领导了这项工作,他说:“我们不应该把Meta视为每个人都试图达到Meta的目标。”“我们应该考虑到每个人都在努力达到80岁、90岁,甚至100岁。”

《拥抱脸》中的模特Bloomz排名第二(53分),紧随其后的是OpenAI的GPT-4(48分)。该研究称:“名称中有‘开放’一词的OpenAI已经明确表示,它将不会对其旗舰机型GPT-4的大部分方面进行透明。”

文章:《在斯坦福大学新的人工智能透明度测试中,OpenAI、Meta和Google的得分低得惊人》_配图2

稳定性AI的稳定扩散2模型得分第四(47)。为巴德提供动力的谷歌Palm2机型跻身前五名(40名)。

斯坦福大学在公布分数前与每家公司的领导都进行了审查,鼓励他们“质疑自己不同意的分数”。该团队考虑了他们的论点,并调整了分数,如果有效的话。

开放模型比封闭模型更好吗?

开放式模型总体排名高于封闭式模型。如果一个模型的代码以开源软件的形式公开发布,那么该模型就被认为是“开放的”。排名靠前的两款车型Llama 2和Bloomz都是开放的,而GPT-4则是关闭的。

例如,斯坦福大学使用Meta的骆驼模型构建了自己的人工智能模型–羊驼。任何拥有正确编码能力的人都可以下载它的代码,并开始为自己的目的定制它。

该研究称:“当今人工智能领域最具争议的政策辩论之一是,人工智能模型应该是开放的还是封闭的。”斯坦福希望基础模型指数将影响积极的政策变化,并计划每年发布FTMI,2023年是第一年。

文章:《在斯坦福大学新的人工智能透明度测试中,OpenAI、Meta和Google的得分低得惊人》_配图3

在这项研究中被评估的10家公司中,有9家致力于白宫负责任的人工智能倡议。Bommasani希望FMTI将激励这些公司履行这些承诺。

FMTI还可以帮助欧盟起草其下一代人工智能法案。博马萨尼说:“我认为,这将让他们清楚地了解目前的形势,现状的利弊,以及他们可能通过立法和监管做出哪些改变。”

– – END – –

– – 转载请声明来源:www.lanpanpan.com – –

编译:盼盼云笔记

广告

推荐阅读

文章:《第一眼:苹果24英寸iMac升级为Might M3》缩略图

第一眼:苹果24英寸iMac升级为Might M3

完全跳过了第二代苹果硅片,24英寸的iMac配备了M3处理器,大大提升了苹果的一体机。在其他方面几乎没有变化的情况下,新的iMac专注于更强大的功能,以增加其多功能性和能力,以满足家中每个家庭成员的独特需求。 苹果经常将iMac定位为家用电脑,但M3打破了一些障碍,使之前的机型无法对游戏玩家和内容创作者等人产生特殊用途。多亏了M3,这可能是第一款成功处理高强度任务的iMac,比如游戏,这些任务以前…

文章:《苹果2023年M3 iMac与2021年M1 iMac:规格和硅片的巨大飞跃》缩略图

苹果2023年M3 iMac与2021年M1 iMac:规格和硅片的巨大飞跃

苹果公司今天宣布了其新的M3处理平台,该平台将在全新的iMac和MacBook Pro机型中推出,现已开始接受订购。目前,iMac只是一款基于新M3芯片的24英寸机型,起价1,299美元。 在日新月异的计算世界里,两年是一段很长的时间,这就是我们已经很长时间没有更新苹果著名的iMac一体机系列了。新机型上一次发布是在2021年春天,基于当时的新M1硅,但苹果完全跳过了使用iMac的M2代。我们当时…

文章:《M3 MacBook Pro第一眼:苹果吓坏了严肃的性能》缩略图

M3 MacBook Pro第一眼:苹果吓坏了严肃的性能

在过去,我们已经等了很多年才能看到新的MacBook Pro。这一次,我们得到的两套新的专业级苹果笔记本电脑只有大约10个月的差距。苹果推出了搭载最新M3处理器的14英寸和16英寸MacBook Pro新系列。 外观几乎没有什么变化–只有新的优质颜色和略微明亮的屏幕–这在苹果历史上是第一次成为聚光灯下的焦点:自推出内部M系列处理器以来,苹果首次同时推出了三代CPU,即M3、…

文章:《苹果同时推出增强的M3、M3 Pro和M3 Max处理器》缩略图

苹果同时推出增强的M3、M3 Pro和M3 Max处理器

苹果发布的可怕的Fast带来了新MacBook和iMac回归的消息,但在这些产品中,每一款产品的内部都有同样重要的东西:三个新的M3处理器。 第三代苹果硅片在这里发布了M3、M3 Pro和M3 Max芯片,将最新的Mac电脑的功能和性能提升到了新的高度。这些处理器带来了额外的CPU核心,具有增强功能的新GPU,以及强大的新的3纳米制造工艺,可以在M3芯片上放置250亿个晶体管-比2022年M2处理…

文章:《看看这笔交易:Apple AirPods Pro售价200美元……或更少》缩略图

看看这笔交易:Apple AirPods Pro售价200美元……或更少

苹果上一次发布新款iPhone、Apple Watch和类似产品的盛会似乎就发生在昨天(实际上是9月7日)。但今天也有一场新的苹果发布会,零售商们预料到了这一点,他们提供了一些意想不到的硬件降价。我们发现的最划算的交易之一是在亚马逊,带USB-C充电的全新AirPods Pro售价50美元。 我们需要告诉你多少关于AirPods Pro的信息?在我们的评论中,我们将其称为“苹果用户最喜欢的无线耳机…

文章:《西部数据将剥离Flash业务成立新公司》缩略图

西部数据将剥离Flash业务成立新公司

内存供应商西部数据正在剥离其闪存业务,成立一家新公司,并将使用自己的名字。 这一变化将形成两家独立的公司。西部数据将专注于销售该公司的硬盘,并保留该品牌名称。此次分拆将专注于闪存销售,包括SanDisk系列产品。 西部数据首席执行官大卫·戈克勒周一在财报电话会议上表示,重组完全是为了实现股东价值最大化。他说:“这项交易将允许每个特许经营权执行其产品和创新路线图,并利用各自终端市场的独特增长机会。”…

文章:《再见电动车起火了吗?研究人员对更安全的固态电池的预览方法》缩略图

再见电动车起火了吗?研究人员对更安全的固态电池的预览方法

马里兰大学的研究人员表示,他们已经找到了一种方法,可以在不相应增加火灾风险的情况下,为电动汽车储存更多能量,从而增加其续航里程。 这项研究专门针对固态电池,这是一项下一代技术,有望使电动汽车的续航里程增加一倍或三倍。然而,据科学日报报道,一个地方的更多能源可能意味着更大的火灾风险–这是商业化的障碍之一。 与锂离子电池相比,固态电池起火的风险较低。但领导这项研究的化学与生物分子工程系教授…

文章:《微软似乎屏蔽了Xbox上的非官方第三方附件》缩略图

微软似乎屏蔽了Xbox上的非官方第三方附件

最近的Xbox更新可能包括阻止第三方控制器的机制。 本月早些时候,几位Xbox用户报告说看到了一条神秘的“Error 0x82d60002”消息,称他们的第三方控制器是“未经授权的附件”。 消息中写道:“这意味着你试图连接的一个配件不是由微软或其他授权的Xbox硬件合作伙伴制造的。”然后,微软表示,在微软阻止访问之前,用户只有两周的时间使用该附件。 这条信息补充道:“我们鼓励您联系您获得配件的商店…