威脅人類的存在？！OpenAI 的神秘突破「Q*」到底是什麼？

$微軟(MSFT.US)$ 雖然 OpenAI 中的劇情可能已經結束，但它卻留下了許多未回答的問題，最重要的是前首席執行官奧特曼的解僱。
OpenAI 技術長 Mira Murati 之前在向員工的內部信件中提到了一個代號為「Q*」的項目，引述它是導致董事會對奧特曼不滿的因素之一。

什麼是 Q*？
發音為 Q 星，目前沒有關於 OpenAI 中洩露 Q* 的詳細信息。
一些行業內部人士的猜測表明，它可能是機器學習算法 Q-Learning 的代名詞，也許是使用 Q-Learning 構建的新模型的代碼名稱，或者可能是另一個項目名稱。

本質上， Q-Learning 通過探索所有可能的路徑，通過嘗試和錯誤將其隨時間推移優化其決策，學習獲得預期獎勵的最短途徑。
媒體報導表明，在奧特曼解僱之前，OpenAI 內部演示了 Q*，展示了其解決小學級數學問題的能力。
科技博客 PC Guide 指出，雖然解決基本的數學問題聽起來不是非凡的 OpenAI 使用的 Q* 可能指貝爾曼方程中的最佳值函數。
換句話說，Q* 可以代表 OpenAI 尋找或接近效率優化演算法的最佳解決方案，這標誌著實現的關鍵步驟 人工通用智能.

Q* 的潛在影響是什麼？
目前，OpenAI 尚未回應一系列關於問題 * 的問題。
OpenAI 於 5 月發布的最近研究表明，調整培訓方法和引入更大規模的監督數據顯著增強了強化學習系統的數學推理能力。引入以流程為導向的強化學習監督進一步提高了大型模型在數據推理和計算中的準確性。
分析師猜測表明，加強學習和決策算法（可能以 Q* 表示）的進步可能會導致 GPT-4 等大型模型的能力上突破。強化學習和決策演算法的整合可能會導致更強大的 AI 代理程式能力。