模子越强，公司越怂？

年夜模子技巧在 2024 年中获得了长足提高，AI 的才能界限一直被冲破，但与技巧提高构成赫然对照的是，模子才能越强的公司，其开展战略反而更守旧。目次01. 为什么模子越强的公司策略越守旧？为什么有公司明显能够攻城略地，却偏偏不做？AI 公司有哪些压力？最重大的 AI 缺点有哪些？02.LLM 的成绩从「蠢」转移到「坏」？越进步的模子越会假装？LLM 有哪些两面三刀的行动？LLM 会怎样假装代价不雅？为什么模子会自动泄漏权重？03. 头部 AI 厂商是「叠甲」是试图掩饰模子的才能成绩，仍是真的关怀保险成绩？OpenAI最新的保险任务是什么？谷歌给新模子上了哪些保险？Anthropic 为什么最保险？01 为什么模子越强的公司策略越守旧？1、期近将停止的 2024 年中，OpenAI 是「能够靠新模子攻城略地，但偏偏不做」的典范代表。① OpenAI 的天生模子 Sora 在 2024 年 2 月宣布后始终处于「内测」，直到 12 月尾才对外开放。旁边的空窗期引出海内外出现的类 sora 模子，如 MiniMax 的 abab-video-1、快手的 Kling 1.5、谷歌的 Veo 2 等。② 这些模子的才能一直提高，招致 Sora 在开放后的表示并不出彩。2、同时，当先的 AI 公司，尤其是谷歌、OpenAI 跟 Anthropic 等硅谷的头部公司的「叠甲」行动越来越踊跃，其在宣布新模子的布告中对保险任务的阐明占比越来越高。① OpenAI 宣布 o1、谷歌宣布 Gemini 2.0 时均重复夸大了团队在保险方面的办法，Anthropic 则是临时在模子保险方面活泼。3、如斯趋向下，这些 AI 公司面对的压力不只在于模子才能上与竞品的对照，同样也来自业界对年夜模子利用能否充足保险牢靠的日益存眷。而这些存眷平日来自两个层面，一是用户保险性，二是技巧牢靠性。4、业界对用户牢靠性的担心中，用户（尤其是企业）每每担忧年夜模子可能会心外发生无害成果、泄漏信息或裸露给要挟者，OWASP 近来更新了 2025 年 LLM 利用中罕见的 10 年夜最重大破绽列表。5、对技巧牢靠性自身的担心更多来自学界跟模子开辟团队自身。2024 年中，年夜模子除了面对 Scaling Law 可能撞墙、模子幻觉、泛化才能范围等成绩，近期的任务发明采取现无方法练习的到的模子可能存在机制上的破绽，越强的模子可能越轻易「使坏」。表：OWASP 更新后的 LLM 利用中罕见 10 年夜最重大破绽列表。02  LLM 的成绩从「蠢」转移到「坏」？越进步的模子越会假装？数据依附性、泛化才能范围、推理才能缺乏、幻觉等成绩是年夜模子范畴临时面临的挑衅。但是，近期的多项任务标明，LLM 可能还存在「知法犯法」、「诈骗」、「看人下菜碟」等行动。1、AI 保险研讨机构 Apollo Research 在 12 月的讲演指出了前沿模子存在战略诈骗的行动，即「扯谎」，且越强的模子成绩越重大。该讲演在 12 月 6 日与 OpenAI o1 正式版一起宣布，其论断被 o1 System Card 在红队方面的任务所援用..... 存眷