威胁人类的存在？！OpenAI 的神秘突破 “Q*” 到底是什么？

$微软(MSFT.US)$ 尽管OpenAI内部的戏剧可能已经结束，但它留下了许多悬而未决的问题，其中最关键的是前首席执行官奥特曼的解雇。
OpenAI首席技术官米拉·穆拉蒂此前在给员工的内部信中提到了一个代号为 “Q*” 的项目，称这是导致董事会对奥特曼不满的因素之一。

什么是 Q*？
发音为 Q 明星，目前没有关于 Q* 在 OpenAI 中泄露的详细信息。
一些业内人士的猜测表明，它可能是机器学习算法Q-Learning的代名词，可能是使用Q-Learning构建的新模型的代号，或者可能是另一个项目名称。

从本质上讲， Q-Learning 通过探索所有可能的途径，通过反复试验不断优化决策，学习获得预期回报的最短途径。
媒体报道表明，在奥特曼被解雇之前，OpenAI内部演示了Q*，展示了其解决小学数学问题的能力。
科技博客《电脑指南》指出，虽然解决基本的数学问题听起来可能并不奇怪 OpenAI 使用的 Q* 可能指贝尔曼方程中的最优值函数。
换句话说，Q* 可能表示 OpenAI 正在寻找或接近效率优化算法的最佳解决方案，这标志着朝着实现这一目标迈出了关键一步 人工通用智能 (AGI).

Q* 的潜在影响是什么？
目前，OpenAI 尚未回答有关Q*的一系列问题。
OpenAI在5月发布的最新研究表明，调整训练方法和引入更大规模的监督数据可显著增强强化学习系统的数学推理能力。面向过程的强化学习监督的引入进一步提高了大型模型在数据推理和计算中的准确性。
分析师推测表明，强化学习和决策算法的进步（可能以 Q* 为代表）可能会导致 GPT-4 等大型模型能力的突破。强化学习和决策算法的集成可能会带来更强的 AI 代理能力。