https://www.youtube.com/watch?v=Sc2_LfWgHb4
AI信任基础设施的构建者——专访AIU创始人Rune Kvist
这期播客主要讲了这么一件事：
有个叫“元宝”的哥们儿（其实是AIU公司的创始人），专门帮那些厉害的AI公司解决一个天大的难题：别人不敢用他们的AI。
为什么不敢用？因为怕出事啊！比如AI胡说八道、被人黑、泄露机密，或者自己瞎搞出乱子。这就好比一辆车性能再好，要是没有安全气囊和刹车，谁敢开上路？
所以，这家公司就干了两件事，给AI上“双保险”：
1. 搞了个“AI驾照考试”（他们叫AIU-1标准）
- 考什么？ 不考你多聪明，考你多靠谱。比如：你会不会撒谎（幻觉）、容不容易被坏人骗（越狱）、会不会泄密、遇到紧急情况怎么办。
- 怎么考？ 不是填张表就行，是真的派黑客去攻击你，让你跑几千遍模拟测试。而且每三个月就得重新考一次，因为AI进步太快了。
- 谁监考？ 除了他们自己，还有毕马威这种顶级会计师事务所去查你的代码，确保你不是作弊。
- 考过了有什么用？ 你可以拍着胸脯跟大客户说：“看，我通过了最严格的独立考试，连保险公司都觉得我靠谱，愿意给我担保！”
2. 拉来了保险公司一起玩
- 为啥要保险？ 光有考试还不够，万一真出了事，赔得起吗？这时候保险公司就上场了。
- 怎么玩？ 他们拉着400年历史的英国劳合社（全球最古老的保险公司）一起。劳合社有钱有信誉，但不懂AI。AIU懂AI，能告诉劳合社这个AI到底有多大的风险。两家一合计，就给那些通过考试的AI公司量身定做一份保险。
- 好处是什么？ 对买AI的客户来说，听到“我们买了劳合社的保险”这句话，心里就踏实多了。万一AI闯祸了，有人赔钱，不是空头支票。
总结一下，他们做的事就像给AI世界建了一个“淘宝+支付宝”：
- 淘宝的信用体系： 那个“AI驾照考试”就是商家评分和买家评价，告诉你这家店靠不靠谱。
- 支付宝的担保交易： 那个“保险”就是出了问题平台先赔，让你敢下单。
几个有意思的小故事帮你理解：
- 为什么AI公司自己说自己安全没用？ 就像卖瓜的王婆，说自己瓜甜没人信。得有个独立的第三方（比如AIU）来鉴定，再配上保险公司的真金白银担保，大家才信。
- 为什么非得拉上保险公司？ 因为保险公司是真要掏钱的！所以他们有最强的动力去搞清楚AI到底有多危险，不会为了赚钱就放水。这就避免了“裁判员和运动员是一伙的”这种情况。
- 未来会怎样？ 他们认为，以后AI之间互相打交道，也需要一套“法律体系”和“信用评级”。比如一个AI代理找另一个AI代理办事，也得看看对方的“芝麻信用分”高不高，有没有买保险。
总而言之，这篇访谈的核心思想就是：AI越强大，越需要一套让人放心的规矩和保障机制。这家公司就是专门做这个的。
详细内容：AI信任基础设施的构建者——专访AIU创始人Rune Kvist
第一部分 开场与融资新闻 （0% - 5%）
- 1. 核心议题引入： 嘉宾Rune Kvist指出，随着AI技术（如智能体、模型、机器人）的进步，其失败模式和风险面也在扩大。例如，当第一台机器人撞倒幼儿时，将引发极其严格的问责制度。因此，物理AI的严格程度会不断提高。
- 2. 新融资宣布： Rune Kvist代表AIU（AI Underwriting Company）宣布，公司已完成由Ribbit Capital和Frost Money领投的4000万美元A轮融资。
- 3. 早期假设的验证： 公司在种子轮时的假设是“风险最终会阻碍AI的采用”。当时这还只是假设，但现在随着各种前沿模型的发布，这一点已成为显而易见的事实——采用率的限制因素就是风险。
- 4. 现有客户名单： 目前AIU已与Cursor、Harvey、Lovable、11 Labs等知名AI公司合作。
第二部分 创始人的职业转型之路 （5% - 12%）
- 1. 进入AI领域的契机： Rune在2021年底出售了自己的第一家教育科技公司后，偶然读到了神经缩放定律论文（Kaplan论文），被其中“模型越大越聪明”的观点所震撼。他意识到，这意味着资本投入可以产生可预测的回报，从而引发投资热潮。
- 2. 加入Anthropic的经历： 他打包行李前往旧金山，通过多次沟通最终见到了Dario Amodei。当时Anthropic刚从OpenAI分离出来，正在纠结是否部署模型、如何创收以及如何与外界互动等问题。
- 3. 独特的背景视角： Rune拥有哲学、政治学和经济学背景。他认为，机器学习专家读论文看到的是技术路径，而他作为“资本家”看到了巨大的商业和社会影响。他预感到，如果缩放定律成立，现有的政治和经济知识都将面临挑战。
- 4. 与Anthropic团队的交流： 与Anthropic团队的深入交谈让他获得了远超论文本身的洞察力。Anthropic团队对未来有着详细的愿景规划，就像拿着水晶球一样，预见了2026年世界的样子，包括算力需求、资本支出、社会关切和经济价值等。
第三部分 创立AIU的动机与核心理念 （12% - 22%）
- 1. 公司的使命： AIU旨在为前沿AI建立信心基础设施，主要通过标准和保险来实现。
- 2. 问题的根源： 以自动驾驶汽车Waymo为例，尽管它们已经是超人类司机，但仍无法完全商用。这表明，限制AI应用的瓶颈并非能力，而是责任、风险或信任。同样，前沿模型不开放访问的原因不是它不好，而是因为它太好，以至于很难对其行为做出承诺。
- 3. 历史类比： 历史上每一次技术浪潮（如电力、汽车、核能）都面临过同样的问题。市场总是跑在监管之前，创造出由“标准”和“保险”组成的信心基础设施来解决信任问题。标准提供了规则和测试框架，而保险公司则因为要赔付而最有动力去真实量化并降低风险。
- 4. 解决方案的核心： AIU的目标是帮助AI公司说出那句“黄金句子”：“我们已经通过了独立第三方针对黄金标准的测试，并且世界上最保守的保险公司也愿意为此承担部分风险。”这句话包含了测试、认证和资金保障，能有效打消客户的顾虑。
第四部分 联合创始人与早期创业历程 （22% - 28%）
- 1. 联合创始人关系： Rune的联合创始人Rajiv是他未来的姐夫。两人相识十年，最初是在麦肯锡实习时，Rajiv是他的导师。
- 2. Rajiv的背景： Rajiv曾是麦肯锡的保险合伙人，后来被其妹妹（Rune的未婚妻）说服，认为AI将是大事，于是辞去工作搬到旧金山，加入了另一家公司。
- 3. 合作的契机： Rajiv在加入前曾负责与Anthropic和OpenAI合作，测试他们发布前的模型，并与美英政府紧密合作。这段经历完美融合了保险和前沿AI测试两个领域。当Rune提出AIU的想法时，两人一拍即合，认为这是解决他们认为世界上最重要问题的绝佳机会。
- 4. 家庭与事业的平衡： 两人早已情同家人，因此共同创业是一个重大决定，但也建立在深厚的信任基础之上。公司目前只有20人。
第五部分 AIU-1认证标准详解 （28% - 42%）
- 1. 认证标准设计原则： AIU-1是面向智能体的安全、可靠性和可靠性标准。其核心设计原则是：
- 全面覆盖： 将所有阻碍企业级采用的担忧（如安全问题）整合到一个综合框架中。
- 技术测试驱动： 避免成为“纸上谈兵”的审计，必须通过实际的技术测试来证明效果。每季度需运行数千次模拟测试，检测越狱、幻觉、数据泄露等问题。
- 季度更新： AI发展极快，标准必须跟上节奏。AIU通过与财富1000强企业的风险负责人组成联盟，每季度开会讨论最新的担忧，并据此更新标准。
- 2. 标准的具体内容： 标准包含六类安全类别。每个要求都有具体的“控制活动”和“证据”要求。例如，防止幻觉的要求会明确指出需要什么样的接地过滤器，并提供代码截图等证据供审计师检查。
- 3. 三种类型的控制要求：
- 技术控制： 必须实施某些防护措施。
- 测试控制： 必须由独立第三方进行测试。
- 政策控制： 必须有指定的负责人和应急响应计划。
- 4. 认证流程和时间： 认证周期大约需要3到10周，取决于客户自身的准备情况。测试本身需要几周，期间可能需要客户根据发现的问题进行修复。认证有效期为一年，但需要每季度更新。
第六部分 保险业务的运作模式与价值 （42% - 52%）
- 1. 保险的作用： 保险不仅是为了赔付，更是为了增强信任。如果一家保守的保险公司愿意承保，就意味着它认为风险是可控的，这对潜在客户是强有力的信号。
- 2. 保险合同的形式： 类似于传统保险，需要指定承保的风险、保额和保费。例如，AIU为11 Labs定制了首份AI智能体保险单，覆盖了其客户最关心的核心风险。
- 3. 与劳合社的合作： AIU与拥有400年历史的劳合社合作，利用其强大的资本实力和信誉。劳合社负责承担大部分财务风险，而AIU则提供技术评估和测试框架（即AIU-1标准），帮助劳合社理解并定价这些新型风险。
- 4. 保险与标准的协同： 标准必须先于保险存在。所有人都希望首先不发生事故，保险是第二道防线。AIU同时做标准和保险，是为了完整地构建整个“承诺生态系统”。
- 5. 关于理赔的探讨： 目前尚无理赔案例。第一个理赔案例将有助于确立法律和判例。例如，加拿大航空因聊天机器人幻觉而败诉的案例，已经确立了“公司将AI置于客户面前，就要为其行为负责”的原则。
第七部分 对未来的展望与面临的挑战 （52% - 65%）
- 1. 未来路线图： AIU的未来规划分为三个层面：首先是当前的智能体层面；其次是即将推出的模型层面；最后是机器人层面。物理AI的风险和严格程度将呈指数级增长。
- 2. 新的风险形态： 随着智能体获得更长的任务周期，会出现新的故障模式。真正的“智能体间交互”将出现，这会带来一系列新问题，甚至需要一套全新的法律体系来处理智能体之间的信任和责任问题。
- 3. 不可保的风险： 版权问题是当前需求旺盛但供给不足的领域。这主要是因为存在“柠檬市场”问题：最想购买版权保险的公司往往是侵权风险最高的，导致保险公司不愿承保。
- 4. 信息不对称与信号传递： 保险的核心难题是信息不对称。解决方法是创造可信的信号传递机制，这正是AIU的认证和测试所做的。透明化操作（如公开变更日志）也能有效减少信息不对称，增加信任。
第八部分 技术前沿与行业生态 （65% - 78%）
- 1. 机械可解释性的作用： 机械可解释性很有前景，但目前尚未达到商业化按需使用的阶段。它可以作为一种可选的控制措施，让通过认证的公司获得额外加分。
- 2. 监控的重要性： 随着智能体变得“评估感知”（即在被测试时表现更好），传统的评估结果可能失真。因此，基于真实运行数据的监控将成为更可靠的真相来源。
- 3. 企业采纳的矛盾心态： 财富1000强的CISO们处于两难境地：一方面CEO要求快速采用AI以免落后，另一方面又担心AI的随机性带来的风险。AIU的工作就是将这种抽象的情绪转化为清晰的框架。
- 4. 预测市场的局限性： 预测市场依赖于公开信息，而许多关键的决策信息是私密的或不存在的。因此，对于像“这个未发布的模型有多强大”这样的问题，预测市场无能为力，这正是第三方审计的价值所在。
第九部分 关于AI工程师认证的探讨 （78% - 85%）
- 1. 主持人提问： 主持人询问，如果推出一个像CFA那样的“AI工程师等级认证”，是否会有所帮助。
- 2. Rune的看法： 这肯定有助于加速安全部署，因为工程师从一开始就会知道要遵循什么标准。但他也指出了挑战：制定这样的课程意味着要规定哪些知识是重要的，哪些是不重要的，这责任重大。而且课程内容需要每三个月重写一次以跟上技术发展。
- 3. 核心区别： AIU的标准是“专断的”，为特定场景（如向银行销售）提供明确的边界。而一个通用的工程师认证则需要处理更多争议和不确定性，难以做出“保证不出错”的承诺。
第十部分 公司的未来与招聘 （85% - 95%）
- 1. 近期目标： AIU将继续与各垂直领域的领先公司合作，完善AIU-1标准，目标是让所有财富1000强企业围绕该标准组织其风险管理流程。
- 2. 长期愿景： 在完成智能体层面的标准后，下一步是模型层，然后是机器人层。
- 3. 招聘需求： 公司正在全面招聘，尤其欢迎真正的全栈型人才。能够将一个概念（如编码智能体的评估标准）从与客户讨论一直推进到发布新版标准的人会做得很好。
- 4. 技术挑战： 构建一个能够统一适用于不同智能体（如Harvey和Cursor）的通用红队测试工具是非常困难的工程问题，但这是做出一致性承诺的基础。
第十一部分 关于AGI与行业终局的思考 （95% - 100%）
- 1. 如果AGI到来： 即使AGI真的实现，AIU的业务也不会发生根本改变。因为实验室永远无法为自己担任“看门狗”，独立的第三方审计始终是必要的。
- 2. 激励问题： 实验室的人很聪明，也很关心安全问题，但他们身处一场竞赛中，可能会有偷工减料或对政府隐瞒信息的动机。因此，需要一个独立第三方来检查和共享信息，这是一个激励问题，而非兴趣问题。
- 3. “看门狗”的自然垄断属性： 像穆迪这样的评级机构具有自然垄断性，因为如果存在多个相互竞争的“看门狗”，它们可能会为了争夺客户而降低标准。AIU引入保险公司作为利益相关方，就是为了制衡这种趋势，因为保险公司是真正为损失买单的一方，他们有强烈的动机维持高标准。
Top comments (0)