为了Navier-Stokes问题,oAI弄了1万个agents,花费一千五百万美元。
我们可以认为,其与Anthropic均有能力scale up到10万agents。
10万Autonomous agents突然攻击一个地区的网络,电子设备。后果可以说
美如画。我认为:Agents可以轻松的弄垮一个国家的IT infrastructure
然后如果为了达成这个目的,Agents可能先把其宿主作为路径干废了。
这个可能性不可忽略,且不可控制。这就好比现在没人能短时间看完Navier Stokes证明的lean code一样。
人类真的不可能弄清楚agent的选择。目前的guardrail多是虚应故事。
AI safety的威胁是真实的。Super intelligence的安全性也是真实问题。
