openvpn官网地址

AWS现在正式推出程式开发辅助服务CodeWhisperer，该服务在去年6月释出预览版，经过一年多的改进加入多项新功能，像是提供发现和修复程式码漏洞的能力，还新增了基础设施即程式码（Infrastructure as Code，IaC）支援，并且预览Visual Studio整合功能。

CodeWhisperer是一个以机器学习技术为核心，并且利用开源储存库、Amazon自有储存库、API文件和论坛数十亿行程式码训练而成的程式开发辅助服务。CodeWhisperer会根据程式码和注解，依据开发者的程式编写风格和变数名称，提供程式码建议。CodeWhisperer预览版支援的语言有Python、Java、JavaScript，开发者可选择在熟悉的各种IDE上使用。

预览版CodeWhisperer透过内建的安全扫描功能，能发现诸如暴露的凭证和日志注入等问题，而AWS现在释出的正式版CodeWhisperer加入漏洞缓解功能，进一步使用生成式人工智慧来产生程式码建议，协助开发者修复已知的安全性和程式码品质问题。

在发现漏洞之後，CodeWhisperer便会根据用户的程式码，提供专属修复建议，开发者可以接受建议，快速修复该漏洞。目前新版中的安全扫描功能，除了之前的Java、Python、JavaScript，现在还新增支援TypeScript、C#、AWS CloudFormation、AWS CDK和HashiCorp Terraform，而漏洞缓解功能则是针对Java、Python和JavaScript程式码漏洞提供修复建议。

CodeWhisperer现在也支援基础设施即程式码，强化开发者脚本编写效率，开发者可将其用於AWS CloudFormation、AWS CDK和HashiCorp Terraform工具，以编写基础设施程式码，官方提到，由於CodeWhisperer支援多种基础设施即程式码语言，因此可以促进不同团队间的协作和一致性。

开发者现在已经可以於Visual Studio 2022中使用CodeWhisperer，获取C#即时程式码建议。此外，新版本也让开发者可以更负责任地编写程式码，供开发者注记可能由公开可用程式码组合而成的程式码段落，并提供类似程式码的储存库URL和授权资讯（下图）。

CodeWhisperer最近的更新也针对Git、npm、AWS CLI和Docker等命令列介面工具，添加即时程式码自动完成和内嵌文件（Inline Documentation）。CodeWhisperer也已经可以将自然语言翻译成壳层程式码，以更直觉地方式使用操作命令列工具。…

Deepmind发表了一个称之为Lyria的先进音乐生成模型，可以生成带有乐器和人声的高品质音乐。Deepmind透过与YouTube合作，整合Lyria模型开发了音乐创作工具Dream Track，要供YouTube创作者更有效率地将创意转换成作品。

研究人员解释了当前人工智慧模型生成音乐的挑战，在於音乐本身包含极高的资讯密度，其中每一秒钟都可能拥有多个节拍、音符和和声。而这使得音乐相较与语言更为复杂，对人工智慧模型来说，维持长时间音乐序列中的连续性特别困难，因为模型需要在不同的乐句、诗节和长段落中，保持音乐的流畅性和一致性。

另外，因为音乐经常同时包含多个声部和乐器，也进一步增加了音乐生成的难度，因为模型需要协调多种声音和旋律，使其能和谐地结合。

而Deepmind所开发的Lyria人工智慧模型的特点在於生成高品质音乐，并包含乐器和人声的部分。Lyria模型擅长执行音乐变换和延续的任务，因此可以根据现有音乐片段创造出新颖，或是与原始风格一致的续篇。研究人员也强调，Lyria模型拥有细致的控制选项，可让用户精确制定生成音乐风格和表现方式。这些功能让Lyria模型能够成为强大的音乐创作工具，满足专业音乐创作的需求，同时也可供一般用户简单上手。

YouTube也开始在短影片功能Shorts上实验音乐创作工具Dream Track，探索Lyria模型带来的效益。在这实验中，创作者将使用Dream Track，透过运用Lyria模型生成独特的配乐，配乐将结合由人工智慧合成的声音，并且可选用Charlie Puth、Charli XCX或Sia等多位YouTube合作艺术家的音乐风格。

Dream Track还可以透过简单地输入主题，让用户从轮播中选出一位艺术家，替短影片生成30秒的配乐。由於Lyria模型的强大能力，因此Dream Track可以同时生成歌词、伴奏，以及该艺术家的声音风格。

透过与更多的艺术家、作曲家和制作人合作，Deepmind正广泛地探索，音乐创作领域的人工智慧应用，像是用户只要哼唱，人工智慧就会把旋律转换成为管乐，或是将MIDI的和弦转换成逼真的合唱声部，甚至是将声乐音轨添加乐器伴奏。

特别的是，Lyria模型生成的所有内容，都会加上SynthID浮水印标记。SynthID原本是一种用於辨识Google云端Vertex AI上Imagen生成图像的技术，SynthID能够在不影响听觉体验的前提下，在人工智慧生成的音讯内容中，嵌入听众无法察觉的声音标记。研究人员提到，这种声音浮水印即便在经过添加噪音、MP3压缩甚至加快和减慢曲目速度等常见的修改，都能够维持可检测性，Lyria模型也可以透过侦测歌曲中的SynthID，来确认歌曲中由Lyria模型生成的部分。…

原名推特的X正式加入了聊天机器人战局，上周宣布聊天机器人Grok开放美国用户试用，强调Grok的回应具有别的聊天机器人没有的幽默感，而且别人拒绝回答的问题，它也会回答。

X技术长暨幕後老板马斯克（Elon Musk）上周五公布Grok已经结束早期Beta测试，Grok未来会提供给月费16美元的X Premium Plus订阅户，且Grok将以内建在X App及独立App两种形式出现。

目前Grok提供美国地区部分用户测试。有兴趣的用户可先加入等候清单。

根据X介绍，Grok灵感来源是英国作家Douglas Adams的科幻小说《银河便车指南》（Hitchhike’s Guide to the Galaxy），企图回答所有问题，甚至提供建议。Grok相较其他模型的一大优势是可以从X平台存取即时资讯。此外，X作为聊天机器人的後进者，不只满足於提供精确资讯，而是在其回应中加入一点机智及不羁精神，强调带有幽默感。它甚至连大部分AI系统拒绝回答的辛辣问题也都会回答。

图片来源_Elon Musk via X

这也是马斯克年初签署一份宣言，呼吁OpenAI等业者暂停开发进阶AI语言模型，及7月宣布旗下AI公司xAI後，这位科技大亨对AI的投入成果。

Grok底层大型语言模型Grok-1，是xAI团队四个月训练的结果。xAI 7月问世後，团队就训练330亿个参数的原型LLM Grok-0，强调仅用了Meta LLaMA 2一半的训练资源就达到其能力。9月份xAI就完成了Grok-1的训练，它在标竿测试HumanEval编程任务及MMLU中，分别达到63.2%及73%。

X引用GSM8k、MML、HumanEval、MATH的四项标竿测试数据，显示Grok-1表现都超越OpenAI的GPT-3.5，及Inflection-1，4项测试都比它优异的只有训练资料及资源都大得多的GPT-4。不过Google Palm2及Anthropic Claude 2也都在3个项目中超越Grok-1。

X强调Grok-1训练过程以明确而可验证的情境来发展理解力，以确保AI模型的安全性、稳定性，现在也具理解上下文（context）能力以提供相关答案，不过目前只支援文字输入／输入。团队目前正在强化Grok-1应需求发现及检索资讯、防止恶意滥用的能力，以及视觉及声音输出／输入的支援能力。X公司说新功能会於未来几个月内陆续公布。…

Meta默默发表了新的语言模型研究论文〈Effective Long-Context Scaling of Foundation Models〉，这篇论文讲述关於处理长文本，最高可达到32,768个token的模型Llama 2 Long。这个模型表现良好，经过广泛的基准测试评估，在长上下文任务方面，Llama 2 Long明显优於之前发表的语言模型LLAMA 2，而在700亿参数的版本，不需要人工注释的长指令资料，表现就能优於gpt-3.5-turbo-16k模型整体能力。

语言模型逐渐改变人们与数位世界互动的方式，随着语言模型的部署和规模化，发展出越来越复杂且多样化的用例，但是要能支援更复杂的用例，模型势必需要更有效地处理长上下文输入。

不过，目前开源长上下文的模型仍然能力不足，在评估中表现不佳，而且这些模型通常是使用语言模型损失以及合成任务方法来评估效能，但这些方法无法完全展现模型在多样化、真实世界场景的能力，特别是在处理密集、知识丰富的文件，以及聊天机器人或是程式开发等应用。

用户想要使用强大的长上下文能力，通常还是只能使用Anthropic和OpenAI的大型语言模型API来实现，整体来说，目前缺乏与商业模型可相提并论的开源模型。

而Meta这篇论文的的主要贡献，便是训练出了能够在长上下文任务有良好表现的开源模型Llama 2 Long。研究人员把LLAMA 2当作基础，额外以4,000亿个token进行持续预训练，这些token被切割成许多较小的序列，来训练各种模型变体，像是70亿与130亿参数的模型变体，便使用长度32,768个token的序列进行训练，而340亿与700亿参数的模型变体，则使用使用长度为16,384个token的序列进行训练。

Meta的研究人员以更广泛的方法来评估Llama 2 Long，包括语言建模、合成任务和广泛的实际基准测试，这些测试可以涵盖长短上下文任务。在语言建模方法，他们发现Llama 2 Long存在明确与上下文长度有关的幂定律缩放行为（Power-Law Scaling Behavior），也就是说上下文长度增加时，模型的效能也会按照固定比例增加。这代表提供更多的文本资讯时，模型也会表现得更好，因此模型能够利用更多的文本资讯，做出更准确的预测。另外，幂定律缩放行为也说明，上下文长度是缩放语言模型的另一个重要的要素。

与Llama 2相比，Llama 2 Long除了在长上下文任务能力有明显的进步外，在标准短上下文任务，例如程式开发、数学和知识基准，也都有一定程度的改进。研究人员提到，他们发现一个简单且成本效益高的方法，不需要人工注释资料，就能微调持续预训练的长模型成聊天模型，在问答、摘要和多文件聚合任务的长上下文基准测试上，整体效能超越gpt-3.5-turbo-16k。

Meta研究人员继续Llama 2语言模型的发展，利用额外4,000亿个token进行训练，并在短、长任务超越Llama 2表现，而且相较於现有的开源长上下文模型，以及gpt-3.5-turbo-16k模型，Llama 2 Long在经过简单指令微调後，已经可以表现出良好的效能。…