3 月 16 日,李彥宏現(xiàn)場展示了「文心一言」在五個場景中的應用案例,并分享了大模型帶來的三大產(chǎn)業(yè)機會。
3 月 16 日,百度文心一言如約而至。在 ChatGPT 發(fā)布三個月后,國內(nèi)終于有了第一款可以對標的產(chǎn)品。
文心一言是基于文心大模型推出的生成式對話產(chǎn)品。從今年 2 月消息外泄開始,這個項目就備受外界矚目。在百度集團內(nèi)部也上升為過去兩個月里優(yōu)先級最高的項目,并由 CTO 王海峰博士親自掛帥。
李彥宏在現(xiàn)場展示了文心一言在文學創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算、中文語境下典故理解、多模態(tài)信息生成等不同場景下的案例。
而對于目前文心一言的性能,李彥宏也坦言這類語言大模型的門檻非常高,現(xiàn)在的表現(xiàn)不算完美,會持續(xù)訓練提升?!敢坏┯辛苏鎸嵉娜祟惙答?,文心一言的進步速度會非???,我們都希望它快點成長,早日為用戶和客戶創(chuàng)造價值?!?/p>
或許正是出于這樣的考慮,百度這次在宣傳上十分低調(diào),避開了「發(fā)布」、「推出」這樣的字眼,將此次活動命名為文心一言的「邀請測試會」。極客公園獲得內(nèi)測碼后,測試了一下古文理解能力,并與 ChatGPT 做了同題對比。在古文理解上,似乎它更擅長一些。
生成式 AI 的浪潮才剛剛開始,大模型不會是最后的王炸,而是這場游戲的牌桌。百度選擇在這個時間點發(fā)布,或許正是認為相比一個完美的產(chǎn)品,先有一個牌桌讓中國的玩家們參與游戲,才是今天最重要的事情。
會上,李彥宏表示「文心一言」對標的是 ChatGPT(亦即 GPT-3.5),甚至最新發(fā)布的 GPT-4。這意味著,文心一言需要在開放域多輪對話的場景下,具有內(nèi)容創(chuàng)作、知識問答、數(shù)學計算、寫作代碼等不同能力。對標 GPT-4 則又增加了處理圖片、文字等不同維度信息的能力。
李彥宏演示了文學創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算、中文語境下典故理解、多模態(tài)信息生成等不同場景下的實例。
在文學創(chuàng)作場景中,文心一言根據(jù)對話問題將知名科幻小說《三體》的核心內(nèi)容進行了總結,并提出了五個續(xù)寫《三體》的建議角度。
在商業(yè)文案創(chuàng)作場景中,在「建立一個大模型為中小企業(yè)數(shù)字化升級的科技服務公司」設定下,文心一言完成了給公司起名、寫 Slogan、寫新聞稿的創(chuàng)作任務。
在數(shù)學計算上,文心一言解答了經(jīng)典的「雞兔同籠」問題。
此外,為了展示文心一言對中文語言的更強理解能力,李彥宏根據(jù)「洛陽紙貴」這一典故進行連續(xù)追問:洛陽紙貴是什么意思?當時洛陽紙多貴;在經(jīng)濟學原理中;對應的理論是什么;寫一首藏頭詩。
在多模態(tài)的能力上,李彥宏請文心一言創(chuàng)作「世界智能交通大會」的海報,并讓模型用四川方言回答「智能交通最適合哪個城市發(fā)展」,并將以上內(nèi)容再轉化為視頻。
信息的多模態(tài)轉換并非百度的新技術,此前在百家號中,根據(jù)文章生成短視頻即來源于此。李彥宏表示,「生成視頻因為成本比較高,還沒有對所有用戶開放,未來我們會逐步接入?!?/p>
李彥宏表示,文心一言針對中文理解,表現(xiàn)出更優(yōu)秀的能力。不過相對于英文、代碼場景的訓練還是不夠好,接下來會繼續(xù)完善相關能力。
極客公園拿到內(nèi)測碼,和 ChatGPT(GPT3.5 版本)對比了一下古文理解能力。文心一言回答對了《項脊軒志》最后一句話的含義、出處、及作者。而 ChatGPT 只回答對了句意。
總體而言,今天的發(fā)布會更像宣布了一個時間點,作為中國市場類 ChatGPT 產(chǎn)品空白的填充。而接下來,基于真實用戶的數(shù)據(jù)反饋,模型將持續(xù)進行迭代。
在上一輪深度學習熱潮中,百度開始了對AI的技術投入,至今已經(jīng) 12 年。近十年,百度累計投入超過 1000 億元的研發(fā)開支,核心研發(fā)投入占核心收入比例連續(xù) 8 個季度超過 20%。在全棧能力積累至今,是百度能夠在短短幾個月的時間內(nèi)集中攻關,將文心一言完善到可以邀請外界測試的基礎。
7 年前,當 Alpha Go 戰(zhàn)勝李世石,產(chǎn)業(yè)內(nèi)外共同意識到了深度神經(jīng)網(wǎng)絡展示其強大威力。如今,發(fā)布于 2017 年的 Transformer 被認為是比卷積神經(jīng)網(wǎng)絡更有延展性的架構。
基于此架構,AI 從原來的識別模式發(fā)展到生成模式。形象而言,如果大模型是房屋,那么 Transformer 便是搭建房屋的「磚頭」。
然而,訓練作為系統(tǒng)工程的大模型,遠遠比「搭建房屋」要復雜得多,不少有過訓練模型經(jīng)驗的從業(yè)者,更喜歡用「造火箭」來形容。因此,真正要實現(xiàn)模型的訓練、數(shù)據(jù)閉環(huán)、持續(xù)迭代,需要全面技術能力和基礎設施支持。
在 ChatGPT 出現(xiàn)后,隨著微軟、谷歌進入視野,首先人們意識到牌桌上巨頭的身影,以搜索業(yè)務起家的百度,也順理成章成為視野內(nèi)可見的第三位巨頭玩家。
不過,可能很少有人知道,2012 年百度就曾和微軟、谷歌坐在同一張拍賣桌上。那時候,圖靈獎得主、深度學習三巨頭之一的 Geoffrey Hinton 和 Open AI 總裁 Brockman 拍賣共同創(chuàng)立的技術公司,當初四家競標企業(yè)之中的唯一中國身影,便是百度(另外三家分別是谷歌、微軟與 DeepMind)。
2013 年,百度建立了深度研究院(IDL),隨之在AI領域,開始了從芯片、框架、模型算法、到應用全面能力的布局。
在算力上,百度 2012 年即投建了陽泉計算中心。2022 年,正式升級為「智算中心」。此次,陽泉智算中心也專門搭建了一個機房支持「文心一言」訓練。該中心最高支持每秒 400 億億次浮點運算。當模型投入使用之后,這里將與江蘇鹽城等地的其他幾座智算中心一起支持大模型的運算。
文心一言的模型演進始于 2019 年的 ERNIE 1.0,此后,百度不斷發(fā)布新模型。2021 年,發(fā)布了百億參數(shù)中英雙語的對話大模型 PLATO-X,以及知識增強大模型 ERNIE 3.0。
CTO 王海峰表示,文心一言是在 ERNIE 及 PLATO 系列模型的基礎上研發(fā)的?!肝男摹瓜盗心P褪前俣瘸掷m(xù)研發(fā)的一系列模型,而「文心一言」則是最新研發(fā),基于對話場景下的通用模型。
CTO 王海峰介紹「文心一言」相關技術|來源:百度
文心模型也一直在服務百度的產(chǎn)品。在模型的能力的加持下,百度搜索的問題分類準確率提升 4.5%,新聞去重召回率提升 8%,視頻推薦召回率提升 10%,小度的意圖理解準確率提升了 3.1%。
王海峰介紹,在文心一言的研發(fā)過程中,深度學習框架所提供的支持也頗為關鍵。「飛槳有效支撐了大模型的靈活開發(fā)、高效訓練和推理部署?!癸w槳平臺,也是百度 AI 技術成果的重要部分。目前,飛槳是除了國際兩大主流框架 TensorFlow 和 PyTorch 之外,國內(nèi)影響最大的深度學習框架,平臺上開發(fā)者數(shù)量已經(jīng)達到 535 萬,創(chuàng)建 AI 模型超過 67 萬個。
生成式 AI 讓市場的需求爆發(fā)式增長,意味著除了底層模型的開發(fā)人員之外,需要更多開發(fā)者加入,進行不同環(huán)節(jié)、不同層面的開發(fā)工作。這也意味著基于大模型,會形成新的技術棧。
提到基于模型開發(fā) AI 應用,李彥宏表示「文心一言讓每一家公司離客戶更近,利用新的能力,做出更好的客戶體驗」。服務客戶,首先需要服務開發(fā)者。當學習框架與底層模型的訓練適配,無疑能為更多開發(fā)者基于通用模型繼續(xù)開發(fā)應用,提供更友好的環(huán)境。
演講中李彥宏坦言,目前文心一言的效果尚不完美。王海峰也表示,在對大模型的最終訓練環(huán)節(jié)中,在人類反饋的強化學習(RLHF)上做的還不夠充分。
但大模型的市場需求日益增長,國內(nèi)大模型的空白急需填補,這是百度選擇在今天發(fā)布的原因之一。邀請測試會的最后一個環(huán)節(jié),百度正式宣布了向 C 端和 B 端開放測試。首批用戶采用邀請制,可以通過邀請碼在「文心一言」官網(wǎng)進行產(chǎn)品體驗 ;面對企業(yè)用戶,百度智能云開放 API 接口調(diào)用。
李彥宏還透露,近期,百度智能云將召開發(fā)布會。屆時,將圍繞文心一言的云服務和應用產(chǎn)品做介紹。接入了大模型的智能,既能夠提供公有云服務,也可以做私有化部署。
而在上個月的 Q4 財報電話會上,他便強調(diào)了大模型對于云服務的加持?!钢斑x擇云廠商更多看算力、存儲等基礎云服務。未來,更多會看框架好不好、模型好不好,以及模型、框架、芯片、應用之間的協(xié)同。這會根本性地改變云計算市場的游戲規(guī)則?!?/p>
李彥宏介紹「文心一言」|來源:百度
這也是百度智能云的新機會。在文心一言發(fā)布會上,李彥宏提出,大模型將會帶來新型的云計算。主流商業(yè)模式從將從 IaaS 變?yōu)?MaaS。所謂 Maas,是「模型即服務」。依托云設施,模型將其推理能力快速接入軟件公司,后者能夠做出更新的產(chǎn)品體驗。
傳聞中投資 OpenAI 百億美金的微軟,也在做相同的布局。目前,GPT-4 的模型能力也已經(jīng)集成在微軟 Azure 中,并通過云服務的方式向外提供服務,即為 Azure OpenAI 產(chǎn)品。微軟還表示,為了能夠支持大模型的持續(xù)升級,針對大語言模型培訓,專門優(yōu)化了 Azure 的基礎設施。
李彥宏認為,大模型將為 AI 產(chǎn)業(yè)帶來三大機會,云服務是其中之一,另外兩個分別是「行業(yè)模型精調(diào)」、「基于大模型底座進行應用開發(fā)」。
前者服務的是企業(yè)客戶,應用行業(yè) Knowhow,提供垂直領域解決方案;后者直接面向普通用戶開發(fā)產(chǎn)品,在文本生成、圖像生成、音頻生成、視頻生成、數(shù)字人、3D 等場景,今天已經(jīng)涌現(xiàn)出很多創(chuàng)業(yè)明星公司,他們可能就是未來的新巨頭。
值得注意的是,要實現(xiàn)模型能力的大規(guī)模發(fā)放,還需要解決部署端的快速調(diào)用問題。目前出現(xiàn)「智能涌現(xiàn)」的大模型,參數(shù)達到了一定量級之后,在多種任務的能力上,都具備了小模型所不具備的能力水平。并且這種表現(xiàn)是「突然出現(xiàn)」的。這使得在模型的綜合表現(xiàn)令人驚喜,也成為 ChatGPT 已經(jīng)具備了產(chǎn)品屬性的原因。
當人們使用模型回答問題、整合信息,或者創(chuàng)作能力生成文本草稿時,便是在調(diào)用模型的實時計算推理能力。這與訓練模型所需求的數(shù)據(jù)訓練、參數(shù)調(diào)優(yōu)等能力相比,需要的是基礎設施支持上的軟硬件協(xié)同效率、服務穩(wěn)定性的能力。
如何實現(xiàn)靈活地調(diào)用模型能力,也將是構建商業(yè)模式的關鍵。這里面可能涉及到很多具體挑戰(zhàn),比如對于數(shù)據(jù)隱私要求極高的醫(yī)療、金融等行業(yè),不適合將數(shù)據(jù)直接接入大模型。而領域的專業(yè)性要求,又需要基于通用能力,基于專業(yè)數(shù)據(jù)進行精調(diào)。
大模型的訓練成本極高。將大模型微調(diào)后,服務于相關企業(yè),如何既保留大模型的能力,又節(jié)約算力成本,并實現(xiàn)本地化部署、迭代,將是未來服務行業(yè)需要解決的問題。
目前,百度積累了芯片、框架、模型、應用的四層技術架構。李彥宏表示,「在全球范圍內(nèi),在四層架構的每一層都有領先產(chǎn)品的公司幾乎沒有,百度的優(yōu)勢非常獨特,相信大家會在后續(xù)文心的迭代速度上有明顯感受?!?/p>
文心一言的測試開始,也意味著數(shù)據(jù)飛輪即將啟動。隨著真實用戶反饋的建立,在 AI 上積累了十多年,百度的機會剛剛開始。
]]>