微软正全面推进其人工智能战略，将 Copilot 集成作为 Windows11 的核心组成部分，推出一系列生成式 AI 功能，旨在彻底改变用户与 PC 的交互方式。新功能涵盖语音控制、屏幕内容分析以及有限的本地自动化代理，目标是让 Copilot 成为用户与 PC 交互的“主要方式”。

“嘿，Copilot”:语音控制成为主流

用户现在可以通过说出“嘿，Copilot”来激活 Windows PC 上的 Copilot。该功能是可选的，激活后会显示麦克风图标和音频信号。微软声称，语音用户与 Copilot 的互动次数是文本用户的两倍，表明语音交互具有更高的用户粘性。会话可自动或通过“再见”命令结束。

为了便捷访问，Copilot 将被添加到 Windows 任务栏，包含一个新的按钮用于语音和视觉工具，用户可通过语音命令访问 Windows 设置。微软同时计划提供一个纯文本选项，满足用户无需说话即可交互的需求。

Copilot Vision:实时屏幕分析与上下文帮助

“Copilot Vision”功能现已在全球所有支持 Copilot 的设备上推出。该功能能够分析屏幕上的内容，并在用户进行照片编辑、游戏或 Office 工作期间提供上下文相关的帮助。微软表示，Copilot Vision 可以处理和分析 Word、Excel 和 PowerPoint 中的整个文档，提供强大的生产力支持。

“Copilot Actions”:有限制的自主本地代理

微软还推出了一个名为“Copilot Actions”的测试功能，允许 Copilot 在本地计算机上处理一些简单的任务，例如搜索 PDF 或整理照片。该功能将首先在 Copilot Labs 中以预览版的形式面向 Insider Program 用户推出。用户可以随时观察 Copilot 的工作过程，并随时介入干预。

微软承认，这些基于代理的功能目前仍是有限且可能出错的，尚无法可靠地控制复杂的软件。鉴于研究表明基于代理的 AI 系统可能带来安全风险，微软表示，用户测试将是提高可靠性的关键。

与中国初创公司 Manus 合作:系统级本地文件访问

此外，微软与中国初创公司 Manus 进行了集成。据报道，Manus 代理使用了 Anthropic 模型，内置于 Windows 资源管理器中，允许用户只需右键单击即可从本地文件创建网站。Manus 使用由 Anthropic 设计的“模型上下文协议”，实现了系统范围内对本地内容的访问。

联网服务与游戏应用扩展

• Copilot Connectors 允许用户从 OneDrive、Outlook、Gmail 或 Google Drive 等关联服务中提取数据。用户可以使用“查找我的牙医预约详情”等提示来搜索预约、联系人或文档，并将结果直接导入 Word、Excel 或 PowerPoint。

• 在游戏领域，“Gaming Copilot” 现已在华硕的 Windows 掌机 ROG Xbox Ally 上推出。用户只需按下按钮即可激活，无需暂停游戏即可在《我的世界》等游戏中帮助导航或解释游戏机制。

大多数新功能均可在任何支持 Copilot 的 Windows11设备上运行，但微软推荐使用 Copilot+ 电脑以提高处理速度和执行本地 AI 任务。只有特定的 “Click to Do” Zoom 集成功能明确要求使用 Copilot+ 电脑并参与 Windows Insider 计划。