Daily News #2026-10-18
- 生产级大模型平台工程实战手册
- 淘特端侧模型从微调到应用的全链路实践
- 独家对话 Karpo:Personal AI 的终局,是用户意图的「竞争」,但这还不是行业共识
- OpenAI 推出 Rosalind 学术计划,向科研实验室赞助开放 GPT-Rosalind
- LLMs Are Tools
📥 Tech News
生产级大模型平台工程实战手册
来源:InfoQ 推荐
发布时间:2026-10-16 17:00:00
某零售企业库存平台的生产实践表明:大模型能力应作为平台基础设施而非应用层问题来治理,平台化改造后将幻觉率从15%降至1.5%,且未依赖更强的模型。
- 架构以网关为唯一入口,ADK负责智能体编排、LiteLLM统一对接模型、MCP协议连接工具服务,模型、工具、编排各层可独立替换;配套代码库可本地端到端运行。
- 在平台边界用Pydantic强制结构化输出校验,失败时按故障分类(Schema违规、幻觉信号、基础设施错误)差异化重试并设置硬上限;提示词进注册表做版本管理与运行时回滚,无需重新部署。
- 意图分类在调用大模型前完成路由,无匹配时显式返回“未分类”而非猜测;RBAC权限在每个MCP服务器端独立校验,策略以配置文件管理。
- 可观测层追踪幻觉率、提示词漂移与按团队归因的Token成本;基准评估集作为提示词上线前的质量门禁,形成变更闭环。
- 文章坦承提示词注册中心目前为内存存储,生产环境需替换为数据库并按环境做版本绑定。
淘特端侧模型从微调到应用的全链路实践
来源:BestBlogs.dev - 精选文章
发布时间:2026-10-16 11:50:00
淘特团队将 QWen3-0.6B 端侧模型从数据集建设、LoRA 微调、ShortGPT 剪枝、AWQ 量化一路做到真机部署,把用户实时意图识别准确率从 43% 提升至 91.8%,落地信息流重排序与离端发券两个场景。
- 端侧小模型的核心瓶颈在数据而非模型:第一代数据集准确率仅 43%,天花板受限于教师模型与规则引擎;第二代基于 10 万级灰度用户真机日志回流重建、按线上分布采样,效果大幅提升,印证「数据质量优于数量」
- CoT 在 0.6B 小模型上得不偿失:幻觉概率大增、整体准确率不足 60%,且生成耗时约 1 分钟,应直接废弃
- 剪枝层数不能只看云端指标:云端裁决删 8 层最优,但真机量化后删 6 层(79.8%)反而更高,剪枝后必须做 Healing 微调并控制 epoch 防止过拟合到残留噪声
- AWQ 显著优于 HQQ,但需用自有数据集重建量化字典,代价是导出时间从 1 分钟增至约 40 分钟、产物从 288M 增至 376M;不同 GPU 硬件量化后同一验证集准确率差异超 21%,CDN 下载等隐形成本也需纳入评估
独家对话 Karpo:Personal AI 的终局,是用户意图的「竞争」,但这还不是行业共识
来源:BestBlogs.dev - 精选文章
发布时间:2026-10-16 17:51:00
Karpo 创始人 Leah 在访谈中提出,Personal AI 的核心竞争在于「意图前插」——在用户形成明确需求之前捕捉其模糊感受并据此组织个性化供给,而非比拼任务执行,且「意图是一切的起点」尚未成为行业共识。
- 团队已获高瓴创投、蓝驰创投等数千万美元融资,选择生活体验垂直切入:消费规模大、离交易近、天然接触模糊意图;创业公司做通用 Agent 没有资本,必须用足够尖的垂直切口把体验做完整,才能让用户更早交出意图、启动数据飞轮
- Browser Use 跨过可用线是这波 Personal Agent 集中涌现的技术前提:今年夏天 Fable 5、GPT-5.6 Sol 一代成功率越过 80%,加上产品层补上重试与确认机制后才可产品化
- Personal AI 将重塑供给关系:用户直接交付「让我睡得好」这类结果而非把需求翻译成商品,平台未来可能面向 AI 而非用户,供给方会思考如何让 AI 选中自己
- 行业或形成「一超多强」格局,商业化基于交易抽佣,未来可能出现面向 Agent 的竞价广告;真正的竞争指标是 Delegation Rate,即用户愿意把多少任务委托给 AI
OpenAI 推出 Rosalind 学术计划,向科研实验室赞助开放 GPT-Rosalind
来源:OpenAI News
发布时间:2026-10-16 03:00:00
OpenAI 正式推出 Rosalind Academic Plan(Rosalind 学术计划),向符合资格的学术实验室提供 GPT-Rosalind 的赞助式访问权限与配套工具,目标是以 AI 能力加速生命科学领域的研究。
该计划的核心是把 GPT-Rosalind 模型以赞助形式开放给学术研究团队,降低实验室获取前沿 AI 工具的门槛,是 OpenAI 面向科研机构的一次产品与生态布局,主要适用于从事生命科学研究的高校与实验室人员。需要说明的是,原文为一条简短的官方公告,仅包含计划的基本定位与目的,未披露申请资格的具体判定标准、赞助覆盖的范围与时长,以及配套工具的具体清单等细节。有意申请的研究团队可关注官方页面后续更新,以获取申请方式与完整条款。
💾 Daily Dev
LLMs Are Tools
来源:iOS Development News - Telegram Channel
发布时间:2026-10-17 00:42:35
作者反驳 Rich Hickey 的《“AI” 不是工具》一文,认为 LLM 就是工具,Hickey 的论证属于基于定义的循环论证,本质上是”出于厌恶的论证”而非逻辑推理。
- Hickey 试图通过定义区分工具与自动化,但任何工具定义都能找到反例;作者以台锯与手锯作类比——台锯更危险、更不可预测,同样可被称作”自动化”,但没有人会否认它是工具。
- 作者观察到开发者每天都在把 LLM 当工具使用,有人用得精准,有人用得糟糕,且使用技能可随实践提升,这符合工具的典型特征。
- 作者将开发者分为两类:一类惊恐地质问”你怎么敢相信 LLM 生成的代码”,另一类带着好奇提出同样的问题;作者自认属于后者,并对缺乏好奇心的同行感到难以理解。
- 文章也坦承对 LLM 存在矛盾情绪,同时指出开发者社区正围绕 AI 编码代理”各说各话”,分歧日益加深,作者对此尚无解决办法。