苹果
重点新闻(1215～1221)
DRAM 苹果 LLM
苹果提出新方法，成功让边缘装置执行DRAM两倍大的LLM
苹果最近提出一种新方法，来解决行动装置DRAM记忆体不足、难以执行大型语言模型（LLM）的难题。进一步来说，LLM虽有出色的语言处理表现，但需耗费大量运算资源和记忆体，很难在资源有限的边缘装置上执行，特别是DRAM有限的行动装置。
於是，苹果团队结合2种技术，将模型参数储存在快闪记忆体上，再依需求，将参数传送到DRAM，让行动装置也有办法执行原本DRAM无法负荷的LLM应用。这2种技术分别是视窗化（Windowing）和列行合并（Row-column bundling），前者透过重复使用已活化的神经元，来减少资料传输，後者针对快闪记忆体的序列资料存取优势，来增加快闪记忆体读取资料的大小。团队测试，采用这些方法，可执行高达DRAM两倍大的模型，而且与单纯的CPU和GPU加载方法相比，推理速度分别提高了4到5倍和20到25倍。
这项研究意义重大，因为苹果计画将生成式AI功能整合到iOS 18作业系统中，来强化Siri和讯息App体验，更有效地回答问题和自动完成句子。不只苹果，三星最近也推出可在行动装置上执行的语言模型Gauss，并计画纳入2024年初要发布的Galaxy S24手机中，他们还打算将这种语言模型整合到其他手机、笔电和平板电脑等设备。另一方面，Google也推出Gemini Nano低阶版语言模型，可在装置上执行，且预计结合Google Pixel 8手机，要提供录音App的摘要功能和Gboard智慧键盘的智慧回应等功能。（详全文）
LLM Google 影片生成
Google发表影片生成模型VideoPoet
大型语言模型（LLM）不只能用来生成文字、图片，还能生成影片。最近，Google研究院就发表了影片生成模型VideoPoet，可执行一系列影片生成任务，包括文字转影片、图片转影片、产生不同风格的影片、影片修复和外扩，以及影片转音档等。
有别於现有模型分段的做法，VideoPoet的特别之处在於，只用单一个LLM架构就整合多种影片生成能力。VideoPoet以多种标记器（Tokenizer）训练而成，像是让模型理解影片和图片的MAGVIT V2、学习音讯的SoundStream等。
经测试，团队发现，VideoPoet能根据文字提示生成更贴切的影片，也就是文字保真度和动作趣味性比Pika、Stable Video Diffusion、Imagen Video、RunwayML等同类模型表现要好。此外，VideoPoet也擅长零样本学习，能根据单一文字或图片输入，来产出良好且连贯的影片。（详全文）
GAI LLMOps Google
Google要打造从端到云全套GAI工具链
Google在12月发表不少生成式AI工具，不只有大语言模型Gemini，也在AI开发套件Vertex AI上释出企业用Gemini Pro模型预览版API，开放企业免费试用。同时，他们也推出Web版AI Studio开发工具，将自家MLOps开发平台Vertex AI转为聚焦企业GAI开发的LLMLOps平台，要涵盖开发、部署到维运更多模型生命周期阶段的需求。
进一步来说，就Gemini而言，Google发表高阶Ultra版、中阶Pro和用於行动装置的低阶Nano版模型等3种版本，Ultra版将可同时辨识和理解文字、图片与声音，也能处理几种热门开发语言，如Python、Java、C++。而先上架的Gemini Pro模型API预览版，就是中阶款，包括只支援文字输入和生成的Gemini Pro，以及Gemini Pro Vision端点这2种API，後者可处理文字和影像输入，但只输出文字。
Google还宣布多项Vertex AI新功能，包含模型增强、与外部资料或API的互动、多模型协作框架、自动化模型评比和更多GAI控制机制。其中，Vertex AI增强工具的主要功能有强化搜寻常用的嵌入检索机制、设定配置就能快速建置的RAG工具，能串接外部向量资料库，再以Vertex AI使用Gemini来实现多模态嵌入检索。Vertex AI也将提供到18种GAI负责任控管机制，来把关生成内容，另也会提供3项模型与外部环境互动的能力，不只有8月推出的预览版外挂机制（Extension）、让生成式AI模型即时取得外部资讯，还会新增函数呼叫功能，可将Gemini生成结果自动汇出成一支API或函式程式。另一项新功能是多模型协作调度，Vertex AI将可用来调度多个模型互相搭配，例如在手机上用Nano版模型接收使用者口说的问题，先将问题声音转成文字後，再抛转到云端的Pro版模型来生成回答、传给使用者。不过，Google还没揭露调度框架释出时程。（详全文）
OpenAI 小模型 监督
OpenAI最新研究：人类有办法控制比自己更聪明的AI
人类该如何有效监督比自己还聪明的AI？这是OpenAI今年中提出的问题。他们在7月组队、展开超对齐（Superalignment）研究，最近揭露最新成果，成功以小模型来监督大模型，在人类开发和管理超级AI的难题上，提供一个新视角。
他们采用简单的方法鼓励模型，使强模型不受弱监督者的能力限制，甚至在必要时反对弱监督者意见。因此在自然语言处理任务中，他们以GPT-2模型监督GPT-4，产生的模型能力通常介於GPT-3和GPT-3.5，许多GPT-4的能力仍可发挥。这说明了，即便在弱监督的指导下，强大的AI模型也能超越其限制，达到更高水准的表现。亦即，即便人类身为弱监督者，能力和理解可能受限、无法良好地评估强模型，但身为弱监督者仍有能力引导和改善强模型表现，揭示了人类控制先进AI系统的可能性。（详全文）
Mixtral 8x7B Llama 2 SMoE
微软更新DirectML，开始支援NPU
微软预告2024年将更新DirectML，将支援神经处理单元（NPU）。NPU是一种专为机器学习工作负载设计的处理单元，适合用於计算密集、不需图型介面互动的工作负载，目前英特尔新款Core Ultra处理器晶片就内建NPU，也会是第一个可在Windows上使用DirectML技术的NPU。
DirectML是一个低阶且硬体抽象化的API，能直接存取GPU等各类加速器，来执行机器学习计算。DirectML也能和其他机器学习框架整合，比如跨平台推理引擎ONNX Runtime、Windows机器学习模型最佳化工具Olive等。得到DirectML支援的NPU，还能加入ONNX生态系，使用如ONNX Model Zoo模型、英特尔Neural Compressor与ONNX Runtime等工具。这次的新支援，对开发者来说，能透过ONNX Runtime等API，将AI模型转移到英特尔NPU上执行。支援NPU的DirectML预计在2024年初，与最新的ONNX Runtime版本一起释出。（详全文）
Azure AI 小语言模型 微软
微软Azure AI再添新模型，Phi-2小语言模型也上架
最近，微软Azure AI再添生成式AI模型，包括在Azure AI中，公开预览版的模型即服务（MaaS）平台纳入Meta最新模型Llama 2，在Azure OpenAI服务和Azure AI Studio工具中提供公开预览版的模型OpenAI GPT-4 Turbo with Vision，另也在Azure AI模型市集中上架6个新模型，包括前阵子新发布的小型语言模型Phi-2。
Azure AI的MaaS平台是微软在今年11月Ignite大会中发表的新服务。微软解释，在Azure AI中，企业可在云端执行个体中建立VM来部署模型，但有些企业不想处理基础设施工作，因此催生出MaaS平台，将模型视为API端点，来让用户呼叫模型，犹如使用Azure OpenAI服务一样，这次在MaaS平台中新添了Meta的Llama 2系列模型。而在模型市集中，除了新增Phi-2，还纳入了文字生成模型DeciLM 7B、文字生成图像模型DeciDiffussion、程式码生成模型DeciCoder、Orca2和Mixtral 8x7b等模型。（详全文）
Imagen 2 Google Vertex AI
Google推出文字生成图像模型Imagen 2
Google最近在自家模型开发和部署平台Vertex AI中，正式上架文字生成图像模型Imagen 2，供等待审核的使用者取用。Google指出，Imagen 2的特点包括更高品质的图像生成、更精准的文字渲染、可制作Logo、产出更贴切的图说和看图问答、多支援6种语言，以及符合Google负责任AI原则。其中，精准的文字渲染，能让生成的图像更贴近文字提示，而支援的语言除了英文，还新添中文、印度语、日文、韩文、葡萄牙文和西班牙文等。
就安全性来说，Google在Imagen 2内建安全机制，确保产生的图像符合规范。例如，生成图像整合DeepMind的SynthID浮水印功能，列入白名单的使用者可用来生成肉眼不可见的浮水印。而且，Google还强调版权赔偿方法，意味着使用者不必担心以Imagen 2生成的作品，可能侵害着作权。（详全文）
AI评测中心 数位部 公平性
数位部启动AI产品与系统评测中心，2024年要成立验证机构
在本月初，数位发展部正式启动AI产品与系统评测中心，要建立公平、可靠的AI产品和系统评测机制，以及可信任AI的发展环境。数位部表示，AI评测中心旗下有制度推动委员会、技术审议小组，将负责制定AI产品与系统评测制度、AI产品与系统评测指引。他们还预告，要在2024年成立验证机构、测试实验室，来提供AI评测与验证服务。
目前，AI评测中心已先建立大语言模型的初步评测项目，包含安全性、可解释性、弹性、公平性、准确性、透明性、当责性、可靠性、隐私及资安等10大类，目前也陆续展开测试，如国科会的TAIDE模型。数位部指出，AI评测中心接下来会推动国内AI模型功效评测工具，并针对不同产品、系统和服务类别，参考国际试验方法，来发展台湾的评测工具与系统。（详全文）
图片来源／Google、OpenAI、微软
AI近期新闻
1. Google用机器学习技术最佳化编译器配置，强化模型执行效率
2. Mistral AI 将於 2024 年开源 GPT-4 级别模型
资料来源：iThome整理，2023年12月