share_log

腾讯大模型:400+场景落地协作SaaS全面接入

騰訊大模型:400+場景落地協作SaaS全面接入

量子位 ·  04/27 05:23

進入2024,大模型的風向變了。

當初“百模大戰”時,只要簡單粗暴拿個Demo搞MaaS(模型即服務),也就是讓用戶直接和大模型交互就足以上牌桌。

但現在,精耕細作搞應用,無論是原生AI應用,還是在已有產品上整合AI功能,成了最新潮流趨勢。

就連一向低調神祕的騰訊混元大模型團隊,也對外公佈了應用落地進展:

騰訊混元大模型已經支持內部超過400個業務和場景接入,並通過騰訊雲,面向企業和個人開發者全面開放。

這裏面有很多爲人熟知的“國民級”App,如企業微信、騰訊文檔、騰訊會議,都已經被AI全副武裝。

還有更多騰訊雲SaaS產品,如企業知識學習平台騰訊樂享、電子合同管理工具騰訊電子籤等,也都有了AI加持。

騰訊混元大模型去年9月才首次亮相,是否有意在加速趕進度?

面對這個問題,騰訊混元大模型應用負責人張鋒的回答就有點“凡爾賽”了:

我們只是按照正常的節奏,而且不光是接入大模型這麼簡單,已經進入打磨用戶體驗階段。

在國內大模型廠商中,騰訊爲何走出這樣一條獨特的路線?我們與張鋒深入聊了聊。

騰訊AI產品,已經在打磨用戶體驗了

騰訊這麼多年來一直以產品見長,AI時代也延續了這種風格。

就拿大模型的門面騰訊混元助手來說,“已經在打磨用戶體驗了”還真不是一句空話。

比如讓它做一道簡單的數學題,就可以發現AI在分析思路時非常流暢,還判斷出題目中缺少條件,但最後給出結果前卻稍有停頓。

這並不符合大模型預測下一個token的運作原理,反倒像是真的在計算。

張鋒揭秘,背後其實是AI先寫了一段代碼,在後端執行再返回結果。

不得不說,這是一種解決大模型計算不準確問題的巧妙思路。但爲什麼不像GPT-4代碼解釋器版一樣,把代碼在前臺顯示出來?

騰訊混元助手一個重要場景是在微信小程序裏使用,移動端展示代碼就會顯得特別長。張鋒認爲,現在的策略更符合用戶體驗習慣。

產品策略有了,但實現起來並不是一件簡單的事。首先需要大模型明白當前用戶需求需要精準計算,接着要生成合適的代碼,最後還要成功通過函數調用來執行代碼。

像這樣從細節出發,打磨用戶體驗的例子還有很多。

比如大家很熟悉的騰訊會議,比起簡單的AI語音轉寫和會議紀要總結,也做了不少差異化功能。

人的口頭表達免不了停頓磕絆,騰訊會議AI在轉寫時把“嗯嗯啊啊”這樣的部分智能規整,讓會後文字記錄看起來更整潔。

騰訊會議正在思考的另一個問題是,AI 生成的會議總結格式應該根據會議類型做出適當調整。

有明確主題和議程的會議,與大家暢所欲言的頭腦風暴會議,需要的總結的格式就截然不同。因此,除了按時間分章節生成會議紀要外,騰訊會議也將推出按發言人/主題生成會議紀要的功能。

騰訊樂享,作爲企業知識協作平台,在AI問答功能中就做到了識別提問者身份,做到回答千人千面。

如果是企業HR問AI有關薪酬結構的問題,就可以得到正面回答,其他崗位問同樣的問題AI會拒絕提供。做到在便利的同時還非常安全。

湖南的律師事務所曠真接入了樂享助手去做AI知識庫, 員工調研顯示,對典型問題的AI回答滿意度高達93分,端到端問題準確率達91%。

騰訊電子籤,利用AI智能文件審查系統,識別合同風險條款,便於企業把控合同風險。企業對合同的風險控制需求各不相同。騰訊電子籤還利用大模型和few-shot技術訓練適合客戶行業的垂類小模型,實現低成本運行。同時,通過混合雲的模式,支持數據、模型的私有化部署,解決效率問題的同時保證合規。

總計400+的應用場景中,像這樣的例子還比比皆是,這裏不再贅述。

值得探討的下一個問題是,騰訊如何做到在短時間內把AI產品打磨成熟的。

應用落地完整流程已跑通

在騰訊,大模型研發和業務應用是“雙向奔赴”的。

根據張鋒介紹,騰訊混元大模型研發過程中迭代速度很快,基本一個月就有四到五個版本。

這種速度就來自於和業務應用團隊的高效合作,業務團隊提出需求並貢獻微調數據,研發團隊就能有針對性的加強大模型的能力。上線測試過程中不斷髮現Bad case,也能迅速爲大模型補齊短板。

在這種研發時就考慮到實際應用需求的模式下,騰訊混元大模型定位成了“實用級通用大模型”。

在國內大模型中,騰訊混元率先完成MoE(Mix of Experts,專家混合)架構升級,也就是從單個稠密模型升級到多個專家組成的稀疏模型。

MoE架構在激活參數不變情況下,總參數量加大,可以吞吐更多的token,同時,得益於較小的實際激活量,可顯著降低訓推成本。

這種路線的快速轉型,也得益於與早期就了解了業務應用一方需求。

在與業務應用相互打磨的過程中,騰訊混元着重提升了通用模型的三個能力:

指令跟隨能力,提出各種各樣複雜的結構化長指令,騰訊混元都能按要求執行。

網頁及文檔理解能力,滿足用戶經常需要AI來總結長文本內容、減輕認知負的需求。

函數調用能力,也是騰訊混元團隊判斷大模型下一階段的趨勢之一。

通用大模型只是一個開始。

張鋒介紹,在實際應用中,除了MoE主模型,如果調用量很大,從性價比的角度,各業務可以考慮使用不同尺寸的小模型,或者採用根據業務數據微調後的垂直小模型。

微調(Fine-Tuning)是學術界通用叫法,在騰訊內部更願意用“精調”。

從數據管理到自研AngelPTM訓練框架、AngelHCF推理框架,再到模型評測、部署都有一股精耕細作的勁兒。

那麼,面對如今 400+場景,以及未來更多業務都要上大模型的情況,研發團隊顯然無法分出精力逐個精調,如何解決這個問題呢?

答案是通過混元一站式平台,許多需求業務團隊自己就能輕鬆搞定。

混元一站式平台不僅支持通過API接口直接調用混元大模型服務,還把大模型從訓練到部署的很多流程都做到可視化,不用寫代碼只需鼠標點點就能快速完成。

有了混元一站式平台很多AI工程師都不怎麼去折騰代碼了,而不精通機器學習的業務工程師也能輕鬆上手操作。

接下來根據一個完整的模型精調到上線的過程,來了解混元一站式平台的能力。

首先是模型方面,平台提供了各種尺寸的基座模型矩陣。又分爲通用模型、針對典型場景的優化模型、針對更垂直領域任務的子模型三個層次。

通用模型前面已經介紹過,場景優化模型可以舉兩個例子:開發Agent類應用,就可以用到強化了函數調用能力的模型來做;在知識密度高的場景,則可以選擇優化摘要能力的模型。

如果不光有垂直的應用場景,還有垂直的數據集,混元一站式平台上就可以完成針對私有數據集的二次訓練,讓垂直子模型不僅有很好的通用理解能力,也很擅長專業領域的知識也很擅長。

接下來便要說到靠混元一站式平台的數據處理能力。

對於來自不同來源、質量參差的數據,從數據清洗流程如質檢、去重,到統計調配不同主題數據的比例,再到更困難的數據價值觀對齊,去除其中包含的偏見,都能靠自動化手段高效完成。

即使模型上線之後,再發現由於某類數據缺失造成模型某方面能力不強,也能迅速把補充數據投入到持續訓練,支持模型的快速迭代。

有了基座模型和數據,就能通過精調來按需求打造專屬模型。無論是速度快成本低的Lora精調,還是全參數深度精調都能在混元一站式平台完成。

精調後模型的評測、部署上線也都做到了自動化,特別是部署可以做到一鍵發佈,是混元一站式平台的核心技術之一。

總結來看,相較於傳統的機器學習平台,混元一站式平台的最大特點在於:提供預訓練好的基座模型、自動化優化數據處理流程,以及精簡高效的模型精調和應用集成工作流。該平台通過自動化和智能工具應對海量訓練數據、模型定製和部署等挑戰,極大地降低了業務接入大模型的門檻,實現了速度快、效果好、接入方式多樣的目標。

一言以蔽之:已跑通從模型研發到應用落地的完整流程。

內部流程徹底跑通、並經過400+場景驗證,外部開發者和企業可以通過騰訊雲上API直接調用騰訊混元能力,接下來就要在助力合作伙伴業務智能化升級上發力了。

One More Thing

在這次交流的最後,量子位把在測試騰訊混元助手過程中發現的,模型仍無法很好解決的問題提交給了團隊。

結束後已經是北京時間晚上6點多,比原定的結束時間推遲了近2個小時。

騰訊混元團隊大部分成員都準備動身去往機場,要趕回深圳研發總部。

張鋒沒有與大家一同離開會議室。

簡單告別後,他又一屁股坐回沙發上,一心沉醉到琢磨怎麼改進Bad case的世界裏了。

声明:本內容僅用作提供資訊及教育之目的,不構成對任何特定投資或投資策略的推薦或認可。 更多信息
    搶先評論