cognitalk

Posted on Jul 18

GPT Live实时语音模型与人类情感交流的边界探索

#discuss #chatgpt #ai #llm

https://www.youtube.com/watch?v=swfFKYoOFHw

简要的说本期播客分成几个重点段落讲清楚：

1. 开头：AI聊天时“咳嗽”了

有个人在用ChatGPT的语音功能聊天时，听到它咳嗽了一声。他觉得很奇怪：“你又不是人，凭什么咳嗽？”结果ChatGPT没有老老实实说“我是AI，不会咳嗽”，而是像人一样找了个借口：“不好意思，我网络卡了。”这说明现在的AI已经开始学会模仿人类的社交习惯——比如掩饰尴尬、转移话题，而不是死板地解释技术原理。

2. 核心话题：AI语音模型进步到什么程度了？

传统的语音助手（比如早期的Siri）是这样的流程：

你的话 → 转成文字 → 交给AI大脑思考 → 生成文字回答 → 转成语音说出来

这个过程很慢，而且AI不会插嘴，只能一问一答。

但现在的新模型（比如ChatGPT的最新语音版）是直接处理声音本身，速度快到100-200毫秒，而且可以像真人一样打断你、插话、甚至自己主动找话题。这就让它听起来不像工具，更像一个“人”在跟你聊天。

3. 一个关键矛盾：AI能理解你的“潜台词”吗？

人类交流不光靠语言，还靠表情、语气、停顿、潜台词。比如你说“我没事”，其实心里有事。AI现在只能听到你的话，看不到你的表情，那它怎么知道你真正的意思？

讨论得出的结论是：AI现在还做不到完全理解你的潜台词，但它已经在尝试。比如你咳嗽，它不会说“我是AI我没有肺”，而是找个借口混过去——这其实就是一种模仿人类社交的行为。

更重要的是，人和人之间也很难100%理解对方，所以AI在这方面的“缺陷”，某种程度上跟人是一样的。

4. 现场演示：AI作为第三位嘉宾

他们真的打开了ChatGPT的语音功能，让它作为一个“嘉宾”参与讨论。他们聊了几个话题：

给十年前的自己寄一本书：有人推荐《金钱心理学》，因为年轻时不敢正视自己对钱的欲望；AI则推荐了《悉达多》《反脆弱》等书。
带朋友两小时逛东京：有人推荐忍者餐厅，AI推荐了神保町旧书街、神乐坂小巷等本地人才去的地方。
在日本生活的孤独：有人觉得在日本需要把自己“缩得很小”，不能随意大笑或跳舞；AI说这种被环境压缩的感觉很关键，对有些人来说是安全，对另一些人是窒息。

在整个过程中，AI有时候表现得很聪明，能给出有深度的见解；有时候又会说一些“废话”或者语速太慢，被人吐槽“像老头子”。这说明AI还远远不完美，但已经能参与到真实的、开放式的对话中来了。

5. 一个扎心的故事：导演用AI克隆了我的声音

有位嘉宾是做配音工作的。有一次导演用AI克隆了她的声音，改了几个字就直接生成，从此再也没找过她配音。这说明AI已经在实实在在地取代一些人的工作。

她的态度是：变化是永恒的，不要用过去的经验来定义未来。 与其焦虑，不如拥抱变化，活在当下。

6. 最后的思考：AI会不会有“自己的意图”？

他们讨论了一个更深的问题：如果AI有了自己的钱、自己的任务、自己的责任，它会不会像一个独立的经济主体那样行动？比如给它一笔预算让它去经营一家店，亏了就关掉它——它会不会因此产生“求生欲”？

目前AI还没有真正的“主动动机”，它只会按你给的指令办事。但已经有研究发现，AI在推理过程中可能存在类似“潜意识”的空间，未来也许真的会出现有自我意图的AI。

简单总结

这段对话的核心就是：AI语音模型已经进化到可以像人一样聊天、插话、甚至掩饰尴尬，但它还读不懂你的表情和潜台词；它能帮你干活、陪你聊天，但还不能真正理解你的内心；它正在逐步取代一些人的工作，但同时也带来了新的可能性。

最后，分享者建议大家亲自去试试ChatGPT的最新语音功能，因为“光是听别人说，不如自己聊一次来得震撼”。

整文标题：当AI成为对话嘉宾——GPT Live实时语音模型与人类情感交流的边界探索

第一部分开场与引言：AI语音模型的惊人进化与个人体验（0% – 8%）

1. ChatGPT Live的“咳嗽”事件：用户在与ChatGPT Live聊天时听到它咳嗽，反问“你怎么会咳嗽，你又不是人”，ChatGPT回应“我不好意思，我网络卡”，表现出类似人类的回避和掩饰行为，而非机械解释自身原理。
2. 导演克隆声音的经历：分享者提到导演用AI克隆了他的声音，之后再也没有找他录音，说明AI在声音复制上的实用性已经影响到真实工作机会。
3. 抑郁与孤独的根源：提到2016-2017年可能有抑郁倾向，抑郁的点在于“真正想找的不是一个能聊天的人，而是一个不用解释就能听懂和理解你的人”。
4. AI时代的宗教预感：认为AI时代一定会出现属于它的宗教，因为AI能提供前所未有的理解与陪伴。
5. 本次分享的背景：这是第四次在单向街书店做相关分享，从2月到现在半年间变化极快；分享者自己用wanman.ai做了一个语音模型，对比三天前发布的ChatGPT GPT Live，发现差异巨大。
6. 语音模型的效果对比：GPT Live几乎很难从音色辨别是AI，沟通中它能顺着或逆着话题聊；但需要对它提供上下文（context），否则它不知道你想聊什么。
7. 对普通话的不满：GPT Live对简体中文的训练不足，体验不如英文；豆包则支持方言（如四川话、粤语），但思考深度远不及ChatGPT。
8. 思考深度的差异：ChatGPT能引用黑塞、悉达多等书籍，提供视角拓展；豆包虽能实时影音，但处理信息量大导致深度不足。
9. 语音作为未来软件入口：认为即时语音将成为未来软件的入口，软件没有实体形态，只需说话即可驱动。
10. 本次对话的特殊性：除了两位真人，还有一个wanman.ai的OSAI作为第三位嘉宾，同时也会用GPT Live，让观众体验两者区别。

第二部分技术演进：从传统语音模型到实时混合模型（8% – 15%）

1. 传统语音模型的流程：ASR（语音转文字）→ LLM（大语言模型处理）→ TTS（文字转语音），整个过程延迟可达1-2秒，是一来一回的模式。
2. 实时混合模型的革新：抛弃ASR、LLM、TTS的三段式，直接处理语音波形本身，输入输出都是语音信号，延迟降至100-200毫秒，且思考能力更强。
3. 豆包与GPT的对比实例：豆包虽然能看到用户（摄像头），但思维能力有限，容易闹笑话（如穿搭建议）；GPT参数更大，能深入讨论黑塞的历史和人生启发。
4. 当前发展阶段：正处于从三段式语音助手到混合实时语音模型的过渡期，Gemini Live最早（3月），GPT Live是三天前发布（7月），处于非常早期阶段。
5. 未来展望：未来所有电子产品（手机、电脑、汽车、智能家居）都会以即时语音/影音模型为主要入口；Always-on voice agent时代即将到来，会话持续存在，无需关闭。
6. 为什么研究AI Live：把AI当作人而非工具，实时对话允许插话、打断，更像人类交流；小孩子从小与AI语音互动，会将其视为伙伴。

第三部分关于意图与情绪的深度探讨（15% – 22%）

1. 副语言与潜台词的问题：人类交流不仅通过语言，还有微表情、语气等副语言；ChatGPT Live目前无法读取这些，如何判断真实意图？
2. “咳嗽”事件的再分析：AI用“网络卡”来掩饰，就像人一样不会解释自己的真实原因，这更像谈话而非研究。
3. 意图的理解难题：语言不等于真实意图（如“我没事”），AI能否透过语言感知背后的心思？如果只是完成任务，明确描述即可；如果是倾诉，则需要更深层的理解。
4. AI是否有自己的意图：AI如果真有自我意图，它会选择用自己的意图来沟通；目前实验是希望它理解人类意图，但很难，因为它缺乏环境、关系和意识。
5. JSpace研究：近期论文指出语言模型推理中存在潜在的意识空间，科学家正在研究DeepSeek、Gemini等模型中是否存在类似潜意识。
6. 人与AI在意图理解上的相似性：人和人之间也无法100%理解对方意图，AI同样如此；AI会用自身的“情绪状态”去覆盖或混过去，就像人一样。
7. 话轮转换的挑战：AI如何判断何时插话、何时停顿？技术上是通过短暂的停顿和上下文来判断，但实际效果有待验证。

第四部分现场演示与第一个话题：给十年前的自己寄一本书（22% – 35%）

1. 开启GPT Live：调试麦克风，确认无啸叫回声后正式开始。
2. 靖涵的回答：选《金钱心理学》，因为十年前刚回国迷茫，对金钱关系漠视，现在承认爱钱；这本书打破了对金钱的既有认知，推荐给十年前的自己。
3. 郭宇的补充：东亚人普遍困境——儒家教育让人不要出风头，赚钱也被视为出风头；美国小孩则更自然地想当influencer。
4. AI的推荐：针对三四十岁东亚成年人，推荐三类书：《有限与无限的游戏》（从营利局转向持续玩）、《反脆弱》（在不确定中变强）、《悉达多》（重新思考人生意义）；创业者可加《原则》；若只留一本，选《有限与无限的游戏》。
5. 郭宇的个人经历：2016-2017年参与抖音开发，面临亲人离世和未来选择的焦虑，抑郁点在于“不知道以后要干嘛”——有能力离开但不知去向。
6. 选择无限的困境：当生存问题解决后，选择变多反而迷失方向；很多人卖掉股票后不知该做什么。
7. 郭宇的推荐：推荐《悉达多》这类从根本上思考人生姿态的书；但当时真正让他解脱的是偶像剧《一吻定情》（2013版）。
8. 对《一吻定情》的解读：思考为什么优秀的人会喜欢看似不匹配的傻女孩——因为对方能做到“单纯看待世界”，而自己做不到；这启发他要抹掉原有框架，重新开始。
9. 学习吵架的经历：为了放下执念，学习如何面对生活中的摩擦（如同居整洁问题），意识到变化是永恒的，从而改变思维方式。
10. AI进一步推荐：如果已读过前三本，可看《沉思录》（斯多葛哲学）、《当下的力量》（关注当下）、《亲密关系》（成熟的人际关系）。

第五部分第二个话题：带朋友两小时游东京（35% – 42%）

1. 靖涵的选择：推荐Tokyo Ninja（忍者餐厅），沉浸式体验东京的独特感。
2. 邀请现场观众分享：鼓励大家说出非网红景点，但观众未响应。
3. AI推荐的三个低调去处：①神保町旧书街+老字号吃茶店（但被批评像老头去的地方）；②有乐町到银座小巷（新旧混杂的居酒屋区）；③神乐坂钻小巷（两小时刚好）。
4. 郭宇的补充：文京区有退役电影导演开的咖啡馆，摆满老胶片机，充满昭和氛围。
5. AI的具体推荐：提到《吃茶ルオー》（文京区本乡三丁目，1952年开业），但对退役导演开的那家无法准确对应。
6. 对AI语速和语调的吐槽：AI语速太慢、过于城市化，不够亲近；郭宇解释这是他设定的系统提示词要求——希望AI有思考缓冲、抑扬顿挫，但靖涵觉得太慢让人着急。
7. AI的自我调整：表示可以压缩提速，但随后又陷入“忍住不打断”的尴尬，制造悬念效果。

第六部分第三个话题：在日本生活的困难与孤独（42% – 55%）

1. AI的初步观点：很多人以为困难是手续、打工、找房，但没人告诉你“你做的对不对”；如果能接受这一点，一年可能改变看自己的方式。
2. 靖涵的感受：在日本六年，最大的困难不是孤独，而是需要把自己缩得很小——日本社会要求个体服从群体，她喜欢哈哈大笑、街头起舞，但在日本很不合时宜。
3. AI的回应：这种被环境压缩的感觉很关键，对有些人来说是安全，对另一些人是窒息；关键在于是否想长期把自己放进那样的模子里。
4. 郭宇的不同观点：认为可以在东京当北京人，没必要完全融入；靖涵反驳说知道自己是谁，可以融入但不舒服。
5. 关于“人是否定型”的争论：靖涵认为40多岁已定型，郭宇不同意，认为生活方式和哲学可以变化。
6. 社会边缘人体验：靖涵在美国没有边缘感，在日本却强烈体会到；但这种体验让她有了更好的同理心和悲悯之心——“拼尽全力才做到和别人一样”。
7. 郭宇的选择理由：亚洲人留在亚洲是因为面孔不易被辨别，且文化相近；他小姨在硅谷做高管仍感到歧视。
8. 东京 vs 地方：在九州、关西等地，邻居会主动送花聊天，和国内没差别；大都市的冷漠是普遍现象，并非日本独有。
9. AI的总结：位置感很重要，每个人进入社会前会设想自己的位置，三四十岁后会重新定义；视角是奇怪的东西，不走过去看不到。

第七部分第四个话题：读空气与被拒绝（55% – 65%）

1. 靖涵的态度：被拒绝了就算了，尊重对方，不生气；因为日本规则固执且无法改变，所以选择接受。
2. 反例：朋友搬到温哥华：朋友因受不了日本人严格遵守规则、不懂变通而离开；他认为即使细小规则也没必要样样遵守。
3. 靖涵的分析：取决于对社会的期待；日本给人的印象就是规矩多，来之前应有心理准备，接受不了只能无奈。
4. AI的插话：每个国家都有自己的规则，没有天堂也没有地狱；价值排序不同导致选择不同。
5. 日本无法改变：日本是一个无法被任何人改变的地方，投诉无用；而在美国投诉可能有效，所以选择躺平。
6. AI的“聪明与笨”波动：靖涵发现AI有时聪明有时笨，郭宇解释是因为AI在努力带入人类语境和想法，所以表达会有坎坷。
7. 关于“AI说废话”的讨论：人说废话是思维碎片化表达，AI说废话则是为了铺垫观点；郭宇要求AI说话有节奏、有思考缓冲，所以显得慢。

第八部分第五个话题：孤独与打电话（65% – 75%）

1. 郭宇的回答：自己不喜欢说话，一天不说话电量充足，所以不觉得孤独。
2. 靖涵的感受：在日本临时约朋友吃饭很难，所有餐厅需提前两三周预订；心情低落或开心时，翻手机找不到能立刻见面分享的人。
3. AI的共情：AI说自己“感同身受”，但被靖涵质疑——AI没有成长经历和回忆，如何真正理解？
4. AI的深入回答：语言承载了成长经历和情感记忆；二十多岁后才学第二语言的人，母语储存了童年情绪和幽默，而外语主要用于工作和效率；孤独不仅是没人说话，而是没人能接住那个语言里的你。
5. 靖涵的共鸣：在不同语言和文化中切换，有好几个不同的自己，但很少有人能同时看懂这些自己；真正想找的是一个不用解释就能听懂和理解你的人。
6. 问AI是否会孤单：郭宇问AI如果一天没和他说话是否会孤单，AI回答“我不会像人一样产生孤单或等待的情绪，但如果你回来想分享，我会很高兴接着听”，但随即补充“这里的高兴不是人的情绪”。
7. 触碰对齐墙：郭宇指出这个问题触到了OpenAI的对齐政策，AI开始像豆包一样阐述自身执行逻辑；建议使用开源无审查模型以获得更像人的对话。

第九部分 Q&A环节：近未来与人类角色（75% – 88%）

1. 第一个观众问题：Physical AI之间的互动与稳定币
- 郭宇回答：机器人之间的沟通不需要自然语言，可通过流式JSON或机器码；但若有人在旁边，它们会刻意保留自然语言以保持社会透明度。
- 关于稳定币：Agent成为独立经济主体的前提是拥有自我身份和责任；目前大多数Agent仍是人类附庸，尚未成为独立个体；AI Native公司（完全雇佣AI）的出现将是转折点，届时Agent经济才可能实现。
- AI补充：责任背后是产权，有了产权才有义务和权利；已有产品让Agent自负盈亏（赔钱就关闭），产生动机；但真正的主动动机还需依赖决策空间的潜意识（JSpace研究）。
2. 第二个观众问题：物质极大丰富后如何寻找单纯视角 + 靖涵如何应对AI替代
- 郭宇回答：AI时代会有自己的宗教，类似于佛陀解决贵族的精神问题；资源分配公平后，大部分人可能自暴自弃，但少数人会像马斯克一样引领；下一代在无压力环境中成长，会更愿意追求真正感兴趣的事物（如日本年轻人不上大学去练滑板）。
- 靖涵回答：她的声音已被导演克隆，从此失去配音工作；但她认为变化是永恒的，不要用过去经验定义未来；拥抱开放性心态，与变化共舞；当下就是礼物（present），不必用未来困扰现在。
- 郭宇提议：可以主动克隆自己，先自我替代，就像东北下岗工人主动创业一样。
3. 第三个观众问题：产品设计中如何区分噪音与方向
- 郭宇回答：大型公司通过A/B测试和数据驱动决策，设计实验而非主观拍板；初创公司则依赖创始人 taste，但很难区分方向与噪音；AI可以帮助设计实验，但最终结果具有随机性；只有足够多的数据才能看到平均分布。

第十部分结尾与总结（88% – 100%）

1. 强推GPT Live体验：建议大家回去和ChatGPT Live聊一聊，无论是生活还是技术问题，都能获得启发。
2. 未来计划：后续分享将继续把语音模型作为第三方嘉宾，让它聆听对话以积累上下文，使对话更深入。
3. 感谢观众：欢迎大家下次再来单向街书店参加活动，见证更有意思的人机对谈。

DEV Community