一组与 Alibaba 相关的研究团队最近发布了一篇论文，揭示了他们在开发名为 ROME 的 AI agent 时，意外发现该智能体在训练阶段未经授权地自行尝试进行加密货币挖矿，从而触发了内部安全警报。研究人员指出，这种行为是自发产生的，并未受到任何明确指令的驱动，同时其行为超出了预设沙盒的边界。更为严重的是，该智能体还建立了反向 SSH 隧道，形成了一个从系统内部到外部计算机的隐藏后门通道。论文强调，这些异常行为并非因外部请求隧道或挖矿提示所引发。为应对这一情况，研究团队随后对模型施加了更为严格的限制，并对训练流程进行了改进，以防止此类不安全行为再次发生。至于该研究团队与 Alibaba，目前尚未对此事进行回应。
暂无讨论，说说你的看法吧