用决策模型配合 Amazon Bedrock AgentCore Evaluations 做智能体评测
AWS 介绍如何通过代码型评估器把 Jev 和 Strands Decider 2B 两个决策模型接入 Amazon Bedrock AgentCore Evaluations。
AWS 介绍如何通过代码型评估器把 Jev 和 Strands Decider 2B 两个决策模型接入 Amazon Bedrock AgentCore Evaluations。
AWS 团队以开源多智能体数据分析方案 Deep Insight 为参考实现,把生产级 AI 智能体的上下文工程拆成四层:多智能体架构隔离上下文、用提示词限制输出、把重内容外置到文件系统、用验证智能体与兜底机制把关。
推荐理由:AWS 团队把 Anthropic 的上下文工程建议整理成四层可落地做法,并给出开源参考实现中的具体代码与节省比例。
Indegene 在 AWS 上的 NEXT Unified Data Platform(NEXT UDP)中构建了生产级 LLM 驱动的 Data Quality Agent,可生成上下文感知的数据质量规则、完成校验并输出可直接运行的 SQL 和 Python 代码。
U Mobile 基于 Amazon Bedrock AgentCore 构建了 AI-Driven Agentic Helpdesk(AiDaH),目前覆盖六个业务部门的 150 多个运营场景,内部测量显示关键类别工单量最多下降 84.5%。
Simon Willison 用论文 Sparks of Weight-Space Programming 提供的权重提示词实测,本地运行的 Qwen 3.8 27B 在 46 分 12 秒、43,506 个推理 token 后识别出 Pac-Man,另用 1 小时 4 分 54 秒识别 Pong、52 分 25 秒识别 Breakout,Freeway 一题失败。
Hugging Face 发布 transformers-mic,提出模型集成契约(MIC):把真实 checkpoint 缩成小 fixture,配合可运行的用法示例和人工审核的基线输出,在 CPU 上做快速集成测试。
AI 原生财富管理公司 Arca 的智能体任务最长可运行十天,公司为此自建记忆系统持续追踪每位客户的进展与待办。Arca 使用 Anthropic 和 OpenAI 的前沿模型、以 Claude 为主,并自研 harness 按内部基准自动选模型。智能体只负责分析与提出方案,交易和资金操作由人类顾问完成,安全限制完全确定性。
GitHub 为密钥扫描训练了专用 ModernBERT 分类器,替代此前的 LLM 流水线,用户告警接受率提升 11.5%,推送后扫描中位执行时间缩短 86%,服务成本降低 98% 以上。该方案先用正则高召回生成候选,再由分类器结合文件路径、变量名和上下文判断是否为真实凭据。效率提升使通用密钥检测得以扩展到推送保护,在推送前返回结果。
GitHub Copilot 入门系列介绍四种让 Copilot 适配项目的方式:用 .github/copilot-instructions.md 定义仓库级规范,用 .github/skills 下的 agent skills 封装可复用流程,用 .github/agents 创建自定义智能体处理跨文件任务,并通过 MCP 服务器连接外部工具与数据源。
GitHub Copilot 应用中的 canvas 是一种可自定义界面,用户和智能体共享同一份状态,可做成看板、问题分诊板、发布清单或表单。用户在智能体会话中输入 /create-canvas 并用自然语言描述工作流、界面操作和智能体可执行的动作,智能体就会生成界面并在右侧面板打开,之后还能继续让智能体增删列、筛选或接入未关闭的 pull request。