Post

oAdam
oAdam
NVIDIA 正在押注一个很现实的判断: AI Agent 不能只靠自己「管好自己」。 过去谈 AI 安全,重点是让模型别说不该说的话;但当 AI 从「聊天」变成「干活」,风险就变了。 Agent 拿到文件、代码、API 和公司系统权限后,真正危险的可能不再是「说错话」,而是「做错事」: 删文件、改代码、调用 API、花钱。 所以仅仅训练模型更听话已经不够,还需要在 AI 外部增加权限控制、行为监控和异常拦截。 这就像公司不会因为员工靠谱,就把所有权限都交给他。 AI 越自主,越需要外部约束。 未来真正重要的问题,可能不是「AI 有多聪明」,而是: 谁能管住 AI? 这也可能成为 Agent 时代新的基础设施生意。

Disclaimer: OKX Orbit content is provided for informational purposes only. Learn more

Replies

No comments yet. Be the first to reply!