Skip to content Skip to footer

来自谷歌的双子座

考虑到下图,谷歌使用了大规模多任务语言理解(MMLU)这个短语,这似乎是从LLM的概念,超越了多模态基础模型(FMs)的概念,到上下文感知的多模态场景。

image-20231217173727479

供货情况和产品

双子座专业版

从 2023 年 12 月 6 日开始,Bard 将使用 Gemini Pro 的微调版本进行更高级的推理、计划、理解等。

双子座纳米

Gemini Nano 将可用于 Pixel 8 Pro。

在接下来的几个月里,Gemini 将出现在 Google 的更多产品和服务中,例如 Search、Ads、Chrome 和 Duet AI。

双子座搜索

谷歌已经开始在搜索中试验双子座,以改善谷歌的搜索生成体验(SGE)。

与 Gemini 一起开发

从 2023 年 12 月 13 日起,开发者和企业客户可以通过 Google AI Studio 或 Google Cloud Vertex AI 中的 Gemini API 访问 Gemini Pro。

Google AI Studio 是一款基于 Web 的免费开发者工具,可通过 API 密钥快速制作应用原型和启动应用。

Android 开发人员还可以使用 Gemini Nano 进行构建。

Gemini Ultra 即将推出

对于Gemini Ultra,谷歌目前正忙于他们所谓的广泛的信任和安全检查,包括受信任的外部各方的红队,并在广泛使用之前使用微调和强化学习(RLHF)进一步完善模型。

作为这一过程的一部分,谷歌将向选定的客户、开发者、合作伙伴以及安全和责任专家提供Gemini Ultra,以进行早期实验和反馈,然后在明年初将其推广给开发者和企业客户。

明年初,谷歌计划推出。谷歌将其描述为一种新的、尖端的人工智能体验,让用户可以访问最好的模型和功能,从 Gemini Ultra 开始。

image-20231217173807044

人类认知水平

这张说明了 Gemini Pro 超过了 MMLU 的人类专家水平,这让我想起了 2017 年谷歌机器学习 ASR 在语音识别中超过了人类准确性的阈值。

谷歌还表示,Gemini 是第一个在 MMLU(大规模多任务语言理解)方面优于人类专家的模型,MMLU 是测试 AI 模型知识和解决问题能力的最流行方法之一。

image-20231217173835250

Bard with Gemini Pro 现已上市

Bard 目前正在 170 多个国家/地区将 Gemini Pro 的定制调整版本用于英语文本用例。

Bart 现在可用的 Gemini Pro 版本仅供文本使用;据谷歌称,很快就会添加模态。

有关区域列表,下面是一个链接:

Bard with Gemini Pro 可用的地方

量化

量化是一种降低运行推理的计算和内存成本的技术。

量化过程意味着生成的模型需要更少的内存存储,消耗更少的能量(理论上)。它还允许在嵌入式设备上运行模型。

image-20231217173921401

以下是 Gemini 模型的细分,Nano 被设计为在设备上运行。

image-20231217173935617

测试结果

Gemini Ultra 取得了 90.0% 的突破性得分,在大规模多任务语言理解 (MMLU) 方面超过了人类专家。

这种创新模式利用涵盖 57 个不同科目的综合测试框架,包括:数学、物理、历史、法律、医学和伦理学,以评估全球知识和解决问题的能力。

通过谷歌对MMLU的新颖基准方法,Gemini利用其先进的推理能力,使其在面对具有挑战性的问题时能够更深思熟虑。

与仅仅依靠初始印象相比,这种战略方法带来了实质性的改进。

image-20231217174010245

综上所述

大规模企业采用LLM的四个主要障碍是:

  1. 推理延迟
  2. 输入和输出令牌的成本。
  3. 隐私和缺乏简单的量化。
  4. 幻觉