大数据

AWS现在正式推出程式开发辅助服务CodeWhisperer，该服务在去年6月释出预览版，经过一年多的改进加入多项新功能，像是提供发现和修复程式码漏洞的能力，还新增了基础设施即程式码（Infrastructure as Code，IaC）支援，并且预览Visual Studio整合功能。

CodeWhisperer是一个以机器学习技术为核心，并且利用开源储存库、Amazon自有储存库、API文件和论坛数十亿行程式码训练而成的程式开发辅助服务。CodeWhisperer会根据程式码和注解，依据开发者的程式编写风格和变数名称，提供程式码建议。CodeWhisperer预览版支援的语言有Python、Java、JavaScript，开发者可选择在熟悉的各种IDE上使用。

预览版CodeWhisperer透过内建的安全扫描功能，能发现诸如暴露的凭证和日志注入等问题，而AWS现在释出的正式版CodeWhisperer加入漏洞缓解功能，进一步使用生成式人工智慧来产生程式码建议，协助开发者修复已知的安全性和程式码品质问题。

在发现漏洞之後，CodeWhisperer便会根据用户的程式码，提供专属修复建议，开发者可以接受建议，快速修复该漏洞。目前新版中的安全扫描功能，除了之前的Java、Python、JavaScript，现在还新增支援TypeScript、C#、AWS CloudFormation、AWS CDK和HashiCorp Terraform，而漏洞缓解功能则是针对Java、Python和JavaScript程式码漏洞提供修复建议。

CodeWhisperer现在也支援基础设施即程式码，强化开发者脚本编写效率，开发者可将其用於AWS CloudFormation、AWS CDK和HashiCorp Terraform工具，以编写基础设施程式码，官方提到，由於CodeWhisperer支援多种基础设施即程式码语言，因此可以促进不同团队间的协作和一致性。

开发者现在已经可以於Visual Studio 2022中使用CodeWhisperer，获取C#即时程式码建议。此外，新版本也让开发者可以更负责任地编写程式码，供开发者注记可能由公开可用程式码组合而成的程式码段落，并提供类似程式码的储存库URL和授权资讯（下图）。

CodeWhisperer最近的更新也针对Git、npm、AWS CLI和Docker等命令列介面工具，添加即时程式码自动完成和内嵌文件（Inline Documentation）。CodeWhisperer也已经可以将自然语言翻译成壳层程式码，以更直觉地方式使用操作命令列工具。…

Deepmind发表了一个称之为Lyria的先进音乐生成模型，可以生成带有乐器和人声的高品质音乐。Deepmind透过与YouTube合作，整合Lyria模型开发了音乐创作工具Dream Track，要供YouTube创作者更有效率地将创意转换成作品。

研究人员解释了当前人工智慧模型生成音乐的挑战，在於音乐本身包含极高的资讯密度，其中每一秒钟都可能拥有多个节拍、音符和和声。而这使得音乐相较与语言更为复杂，对人工智慧模型来说，维持长时间音乐序列中的连续性特别困难，因为模型需要在不同的乐句、诗节和长段落中，保持音乐的流畅性和一致性。

另外，因为音乐经常同时包含多个声部和乐器，也进一步增加了音乐生成的难度，因为模型需要协调多种声音和旋律，使其能和谐地结合。

而Deepmind所开发的Lyria人工智慧模型的特点在於生成高品质音乐，并包含乐器和人声的部分。Lyria模型擅长执行音乐变换和延续的任务，因此可以根据现有音乐片段创造出新颖，或是与原始风格一致的续篇。研究人员也强调，Lyria模型拥有细致的控制选项，可让用户精确制定生成音乐风格和表现方式。这些功能让Lyria模型能够成为强大的音乐创作工具，满足专业音乐创作的需求，同时也可供一般用户简单上手。

YouTube也开始在短影片功能Shorts上实验音乐创作工具Dream Track，探索Lyria模型带来的效益。在这实验中，创作者将使用Dream Track，透过运用Lyria模型生成独特的配乐，配乐将结合由人工智慧合成的声音，并且可选用Charlie Puth、Charli XCX或Sia等多位YouTube合作艺术家的音乐风格。

Dream Track还可以透过简单地输入主题，让用户从轮播中选出一位艺术家，替短影片生成30秒的配乐。由於Lyria模型的强大能力，因此Dream Track可以同时生成歌词、伴奏，以及该艺术家的声音风格。

透过与更多的艺术家、作曲家和制作人合作，Deepmind正广泛地探索，音乐创作领域的人工智慧应用，像是用户只要哼唱，人工智慧就会把旋律转换成为管乐，或是将MIDI的和弦转换成逼真的合唱声部，甚至是将声乐音轨添加乐器伴奏。

特别的是，Lyria模型生成的所有内容，都会加上SynthID浮水印标记。SynthID原本是一种用於辨识Google云端Vertex AI上Imagen生成图像的技术，SynthID能够在不影响听觉体验的前提下，在人工智慧生成的音讯内容中，嵌入听众无法察觉的声音标记。研究人员提到，这种声音浮水印即便在经过添加噪音、MP3压缩甚至加快和减慢曲目速度等常见的修改，都能够维持可检测性，Lyria模型也可以透过侦测歌曲中的SynthID，来确认歌曲中由Lyria模型生成的部分。…

百度

《路透社》报导，早在美国AI晶片禁令之前，百度已经将AI晶片订单由Nvidia转向华为。

10月美国发布最新禁令，禁止一定运算速度以上的晶片输入中国，直接影响Nvidia、AMD等业者。美国先是公布1个月缓冲期，但一周後又传出美取消缓冲期立即生效。消息所至引发Nvidia股价大跌。

周二路透社引述二消息人士报导，其实早在8月，中国网际网路巨人百度内部已经下令其AI系统文心一言（Ernie）使用的晶片，改向华为采购昇腾（Ascend）910B系列AI晶片。Ascend 910B晶片最大算力为256TFLOPS，相当於Nvidia A100。

报导指出，百度为200台伺服器采购了1,600颗华为AI晶片，其中60%约1,000颗已经在10月底前出货，华为预计在年底交付所有晶片。另一名消息人士指出，这波下单金额约为6,200万美元。

虽然这波采购量并不算大，但报导指出，这显示中国业者已逐渐有能力摆脱对美国技术的依赖。美国祭出晶片及软体出口禁令後，华为转而推动作业系统及晶片研发。外界拆解华为今年9月推出的旗舰手机Mate 60 Pro，使用的是自行研发的麒麟9000及鸿蒙4.0作业系统。

路透社9月报导，华为集团的海思半导体（HiSilicon）已研发自制内建於监控摄影机的晶片，并已出货给客户。…

GitHub

前微软亚洲研究院院长、创投家李开复创立的AI新创公司零一万物（01.AI），本周宣布开发大型语言模型Yi-6B及34B并将之开源出来。

李开复旗下的私募基金创新工场於今年3月，成立开发生成式AI包括大型语言模型（LLM）及聊天机器人的新创公司零一万物（01.AI），如同中国版的OpenAI，他本人则兼任这家公司的执行长。在成立8个月後，李开复在与彭博的访谈中公布名为Yi的首个LLM，包含60亿及340亿参数训练的2个版本 。这个模型已透过GitHub开源给社群。

李开复并指出，零一万物获得阿里巴巴控股及其他几家金主的资金後，目前市值已突破10亿美元。

根据零一万物在Hugging Face的介绍，Yi是一组LLM，为上下文长度200K的基础模型。它的特色之一是双语（中／英文）模型。此外，虽然比起其他开源模型小得多，但根据Hugging Face列出的标竿测试，Yi-34B效能在数个指标例如在常识推理、阅读理解及数学&编程测试中，效能比阿拉伯联合大公国的Falcon-180B和Meta的Llama2-70B等大型模型还好。MMLU、CMMLU、C-Eval等测试中，也都拿下第一名位子。

这家业者目标市场不只是中国，也放眼全球。李开复说Meta Llama 2是开原码社群的黄金标准，而Yi模型想提供另一选项。零一万物预计12个月、18个月将再公告1,000亿到4,000亿参数的LLM。…

原名推特的X正式加入了聊天机器人战局，上周宣布聊天机器人Grok开放美国用户试用，强调Grok的回应具有别的聊天机器人没有的幽默感，而且别人拒绝回答的问题，它也会回答。

X技术长暨幕後老板马斯克（Elon Musk）上周五公布Grok已经结束早期Beta测试，Grok未来会提供给月费16美元的X Premium Plus订阅户，且Grok将以内建在X App及独立App两种形式出现。

目前Grok提供美国地区部分用户测试。有兴趣的用户可先加入等候清单。

根据X介绍，Grok灵感来源是英国作家Douglas Adams的科幻小说《银河便车指南》（Hitchhike’s Guide to the Galaxy），企图回答所有问题，甚至提供建议。Grok相较其他模型的一大优势是可以从X平台存取即时资讯。此外，X作为聊天机器人的後进者，不只满足於提供精确资讯，而是在其回应中加入一点机智及不羁精神，强调带有幽默感。它甚至连大部分AI系统拒绝回答的辛辣问题也都会回答。

图片来源_Elon Musk via X

这也是马斯克年初签署一份宣言，呼吁OpenAI等业者暂停开发进阶AI语言模型，及7月宣布旗下AI公司xAI後，这位科技大亨对AI的投入成果。

Grok底层大型语言模型Grok-1，是xAI团队四个月训练的结果。xAI 7月问世後，团队就训练330亿个参数的原型LLM Grok-0，强调仅用了Meta LLaMA 2一半的训练资源就达到其能力。9月份xAI就完成了Grok-1的训练，它在标竿测试HumanEval编程任务及MMLU中，分别达到63.2%及73%。

X引用GSM8k、MML、HumanEval、MATH的四项标竿测试数据，显示Grok-1表现都超越OpenAI的GPT-3.5，及Inflection-1，4项测试都比它优异的只有训练资料及资源都大得多的GPT-4。不过Google Palm2及Anthropic Claude 2也都在3个项目中超越Grok-1。

X强调Grok-1训练过程以明确而可验证的情境来发展理解力，以确保AI模型的安全性、稳定性，现在也具理解上下文（context）能力以提供相关答案，不过目前只支援文字输入／输入。团队目前正在强化Grok-1应需求发现及检索资讯、防止恶意滥用的能力，以及视觉及声音输出／输入的支援能力。X公司说新功能会於未来几个月内陆续公布。…

Walmart

重点新闻(1001~1014)

#生成式AI #搜寻优化 #AR购物
Walmart揭未来零售科技实验计画，要用生成式AI强化搜寻、资讯摘要及室内设计等购物功能

美国零售龙头Walmart揭露自家零售科技发展计画，包括搜寻功能优化、购物辅助功能、OMO购物功能等。其中，生成式AI在数个新项目中扮演了关键角色。

其一是搜寻功能优化。Walmart计画利用生成式AI，来支援主题式商品搜寻，例如搜寻「独角兽主题的婴儿生日派对」，AI就能一次呈现主题背後所需的不同商品，消费者不用一一搜寻盘子、气球、蛋糕等个别商品。他们还计画利用生成式AI来支援需求条件复杂的商品搜寻情境，例如，如何根据消费者年龄和电信服务商，搜寻出适合的手机型号。

其二，Walmart也打算效仿eBay和Amazon，利用生成式AI来摘要商品功能及顾客评价，作为消费者购物参考。

第三个用生成式AI来强化的是AR购物功能。过往，Walmart App可以透过镜头扫描实际房间或人物，再於萤幕上模拟摆设或试穿。未来，Walmart计画於此功能中增加生成式AI购物助手，根据消费者预算、偏好主题及其他需求，进一步协助消费者规画室内设计或衣物穿搭。

Walmart还计画推出用IVR来完成整趟购物的功能，这是延伸自先前简讯购物功能。他们还打算持续扩充非典型OMO电商通路，例如近期他们於游戏中开始贩售实体家具。

#开店平台 #中小型电商 #网红行销 #聊天机器人 #小额贷款

Shopline整合网红行销、聊天机器人、小额贷款功能到开店解决方案中

开店平台Shopline整合业界3种零售科技功能到自家平台，包括Influenxio智慧网红行销、Appier旗下聊天机器人，以及PChome旗下21世纪数位的小额贷款等。

网红行销功能会追踪网红代言人带来的点击数、订单数等数据，并提供行销预算管理功能，以助电商业主从转换率和实际支出两方面数据，来监控网红行销活动成效。

聊天机器人功能支援跨通讯软体客服讯息管理，业主可自订情境脚本、多媒体素材、互动体验，来优化Chatbot回覆内容。此系统後台还会显示顾客贴标，来提供精准行销参考。

小额贷款则是可以根据商家後台营运数据，快速评估风险并放款的融资功能，最快当日放款。

这些技术虽然都不算新颖，但对於IT资源不足的中小型零售业者来说，自行打造或整合这些技术，仍有一定门槛。由开店平台整合进整体解决方案中，有望降低平台上业者采用更多元零售科技的难度。

#ESG #绿能商店 #电费管理
全家结合IoT能源管理、太阳能及储能设备打造首家能源韧性实验店，还有独立供电系统作为备援

全家便利商店於台南打造能源韧性实验店，运用IoT协助改善店铺能源管理，也导入太阳能发电及储能设备。

IoT及能源管理系统，可自动侦测冷藏设备温度，当用电接近满载，会主动降载空调、灯光照明，避免用电过度，例如在傍晚或夜间时段，会自动降低店内照明亮度。冰箱、冰柜设备，则从固定时段除霜改为动态除霜，当侦测到温度过低或结霜时才会除霜。

另外，全家为实验店建置了孤岛电力系统，除台电供电之外，建置太阳能发电及储能系统，扮演调节电力供应的角色，可在台电离峰时段储能，供应日间用电尖峰时段使用，降低店铺尖峰时段用电量。（详全文）

#OMS #团购 #社群电商
飞比推出团购整单系统，能自动转化通讯软体留言到OMS

飞比价格母公司第一网站推出团购整单系统「飞比+1」，功能是自动撷取Line记事本下的团购订单留言，再根据留言关键字，自动分类到订单管理系统（OMS）。团购主能於整单系统中设定商品主副规格，例如颜色和尺寸等，作为系统抓取关键字依据。如图所示，系统会根据关键字，将留言内容为3种类别，包括明确能判断为完整订单的「已确认」，订单讯息不完整的「待确认」，以及非订单留言的「不成单」。

这个系统每小时会撷取记事本留言一次，团购主也能手动更新。不过，第一网站没有提到，若出现删除留言、编辑留言等情况，此系统会如何应对。

同时，第一网站宣布推出「BI电商市场情报服务」，向其他电商提供自家网站流量分析。飞比表示，自家平台有800万不重复使用者，过往已有电商向自家购买流量分析报告，不过都是以一对一个案形式来处理，现则正式将此服务商品化。

#D2C网站 #精准行销 #餐旅业…

Meta默默发表了新的语言模型研究论文〈Effective Long-Context Scaling of Foundation Models〉，这篇论文讲述关於处理长文本，最高可达到32,768个token的模型Llama 2 Long。这个模型表现良好，经过广泛的基准测试评估，在长上下文任务方面，Llama 2 Long明显优於之前发表的语言模型LLAMA 2，而在700亿参数的版本，不需要人工注释的长指令资料，表现就能优於gpt-3.5-turbo-16k模型整体能力。

语言模型逐渐改变人们与数位世界互动的方式，随着语言模型的部署和规模化，发展出越来越复杂且多样化的用例，但是要能支援更复杂的用例，模型势必需要更有效地处理长上下文输入。

不过，目前开源长上下文的模型仍然能力不足，在评估中表现不佳，而且这些模型通常是使用语言模型损失以及合成任务方法来评估效能，但这些方法无法完全展现模型在多样化、真实世界场景的能力，特别是在处理密集、知识丰富的文件，以及聊天机器人或是程式开发等应用。

用户想要使用强大的长上下文能力，通常还是只能使用Anthropic和OpenAI的大型语言模型API来实现，整体来说，目前缺乏与商业模型可相提并论的开源模型。

而Meta这篇论文的的主要贡献，便是训练出了能够在长上下文任务有良好表现的开源模型Llama 2 Long。研究人员把LLAMA 2当作基础，额外以4,000亿个token进行持续预训练，这些token被切割成许多较小的序列，来训练各种模型变体，像是70亿与130亿参数的模型变体，便使用长度32,768个token的序列进行训练，而340亿与700亿参数的模型变体，则使用使用长度为16,384个token的序列进行训练。

Meta的研究人员以更广泛的方法来评估Llama 2 Long，包括语言建模、合成任务和广泛的实际基准测试，这些测试可以涵盖长短上下文任务。在语言建模方法，他们发现Llama 2 Long存在明确与上下文长度有关的幂定律缩放行为（Power-Law Scaling Behavior），也就是说上下文长度增加时，模型的效能也会按照固定比例增加。这代表提供更多的文本资讯时，模型也会表现得更好，因此模型能够利用更多的文本资讯，做出更准确的预测。另外，幂定律缩放行为也说明，上下文长度是缩放语言模型的另一个重要的要素。

与Llama 2相比，Llama 2 Long除了在长上下文任务能力有明显的进步外，在标准短上下文任务，例如程式开发、数学和知识基准，也都有一定程度的改进。研究人员提到，他们发现一个简单且成本效益高的方法，不需要人工注释资料，就能微调持续预训练的长模型成聊天模型，在问答、摘要和多文件聚合任务的长上下文基准测试上，整体效能超越gpt-3.5-turbo-16k。

Meta研究人员继续Llama 2语言模型的发展，利用额外4,000亿个token进行训练，并在短、长任务超越Llama 2表现，而且相较於现有的开源长上下文模型，以及gpt-3.5-turbo-16k模型，Llama 2 Long在经过简单指令微调後，已经可以表现出良好的效能。…

人工智慧新创公司Mistral AI以Apache 2.0授权开源Mistral 7B语言模型，Mistral 7B的特别之处在於其规模较小仅有73亿，但是在所有基准测试上，其表现都优於规模更大的语言模型Llama 2 13B，还具有编写程式码以及处理8,000个token的能力。

整体来说，Mistral 7B在多个基准测试，包括常识推理、世界知识、阅读理解、数学和程式码等，表现亮眼，除了明显优於Llama 2 13B之外，也和Llama 34B模型打成平手，其编写程式码的能力接近CodeLlama 7B，并且在英文任务中表现良好。

在大规模多工语言理解（MMLU）基准测试上，Mistral 7B的表现相当一个3倍大的Llama 2模型，但是却可大幅节省记忆体消耗，吞吐量也有所增加，其提供了更高的性价比。

Mistral 7B运用了群组查询注意力（GQA）加快推理速度，还使用滑动视窗注意力（SWA），以更小的成本处理较长的序列。群组查询注意力方法分组多个查询并且同时进行处理，透过这种方式，群组查询注意力机制能够减少重复计算，提高推理速度并降低运算成本。

滑动视窗注意力机制则限制模型，在神经网路的每一个层级，只能关注前面一定范围的token，这个限制视窗会根据模型的层数向前滑动，在更高的层数中，模型能够间接关注序列中更早出现的token。运用这种方式，滑动视窗注意力机制可以降低计算和记忆体需求，并更高效地处理长序列，Mistral 7B每层注意前4,096个隐藏状态，能够以线性计算成本提高处理速度，特别是序列长度为16,000时，速度提高达2倍。

这两种技术组合使Mistral 7B在处理各种不同任务时，具有高效和灵活性，同时保持良好的可扩展性。

另外，官方也运用公开指令资料集微调Mistral 7B，经过微调後的Mistral 7B Instruct模型在MT-Bench测试中表现良好，能够与130亿参数的聊天模型的效能相当。用户现在可以下载Mistral 7B并立即开始使用，可以选择部署在AWS、Azure和GCP等云端平台上，并且在vLLM推论服务和Skypilot框架上运行，同时还支援在HuggingFace平台上使用。

由於Mistral 7B采用Apache 2.0授权，因此用户几乎能够不受限制地自由使用模型，Mistral AI官方认为，开源解决方案将会超越专有解决方案，因为开源能够集结社群力量使得技术更加卓越，并且也只有开源模型才能够对抗审查与偏见，并交给开发者完全的控制能力，可依照需求调整模型大小和成本。…

IBM宣布在其人工智慧开发平台Watsonx.AI提供Llama 2模型，使企业能够简单地取用Llama 2模型，训练专属模型用於开发自家人工智慧应用。Watsonx.AI是Watsonx平台的一部分，可让企业简单地训练、验证、调校和部署人工智慧模型，该平台包括预先打包的人工智慧模型目录，还有可用於模型训练的资料集。 Llama 2是Meta在7月甫对外释出的大型语言模型，相较於今年2月Meta发表，仅开发给人工智慧研究社群申请使用的Llama 1，Llama 2采用一种称为Llama 2的授权，虽然并非典型的开源授权，但是只要企业产品和服务不超过7亿活跃使用者，都可以自由地用於研究和商业目的。

Llama 2预训练模型总共使用2兆Token训练，具有处理长上下文内容的能力，而经调校的指令遵循模型Llama 2-Chat，其可用性已经与ChatGPT相当。Llama 2模型有三个大小的版本，分别为70亿、130亿和700亿参数的模型，IBM在Watsonx.AI平台中托管的则是Llama 2-chat 700亿参数模型版本。

IBM在Watsonx.AI中提供Llama 2模型，是延续过去与Meta在多个开源专案合作的基础，之前的合作包括PyTorch机器学习框架，以及在watsonx.data中使用Presto查询引擎等。IBM提到，他们目前的人工智慧战略，是向用户提供第三方和自家的模型。因此在Watsonx.AI中，用户可以使用到IBM和Hugging Face社群的模型，解决各种自然语言处理任务。

除了整合Llama 2之外，IBM也揭露接下来的生成式人工智慧路线图，之後将会发布AI Tuning Studio，继续在Watsonx.AI加入其他人工智慧模型，并且在生成式智慧工具整合FactSheets资料治理服务。…

在各家编辑器纷纷整合大型语言模型，提供人工智慧编辑功能，协助使用者编写文字的风潮下，用於纠正拼字、文法和标点错误的老牌输入助理Grammarly，也将推出结合大型语言模型的新工具GrammarlyGO，能够以人工智慧技术依用户要求修改文字。

GrammarlyGO具体功能是可依据使用者的提示，快速产生文字草稿，或是以使用者的文字为基础，依据需要的语气和清晰度，重新编写文字，用户可以要求GrammarlyGO以较正式的语气，或是更友善的语气改写原来的文字。GrammarlyGO也能够修改文字调整长度，用户只要点击提示就可以让文字更长或是更短。

GrammarlyGO可以扮演协助构思的辅助角色，生成纲要或是想法，供使用者参考或是直接加入到文字中，另外，GrammarlyGO也能模仿他人的语气，根据需要产出个人化写作。

GrammarlyGO会先向Grammarly订阅用户开放，商业和教育版帐号则可在之後参与Beta测试，GrammarlyGO也会供免费帐户使用，从英国、日本和澳洲等国开始，逐渐向各个地区使用者开放。使用者须在Windows、Mac平台的Grammarly应用程式、Chrome扩充套件和线上编辑器使用新的AI功能，GrammarlyGO会对Gmail、Google Doc、Word、LinkedIn和Medium等应用进行最佳化。

官方也表示，GrammarlyGO将会在Beta阶段添加到Text Editor SDK，供开发者取用开发程式。在隐私政策上，用户在GrammarlyGO输入的提示文字和上下文，将会与合作夥伴共享以提供AI功能，但是官方表示，第三方不能将使用者的资料，用於训练模型和改进产品。…