和大模型打視頻電話可能即將實現(xiàn)。

近日，記者獲悉，智譜清言app將上線視頻通話功能，智譜方面介紹，清言App的視頻通話功能，具有跨文本、音頻和視頻進行實時推理的能力，AI可以進行流暢的通話，人可以實時打斷AI；此外，通過手機或AIPC的攝像頭與人互動，可通過視頻流理解對話當(dāng)前的環(huán)境（包括人物狀態(tài)/背景環(huán)境）。

今年5月，OpenAI發(fā)布多模態(tài)大模型GPT-4o，曾憑借自然流暢的實時音視頻交互引發(fā)關(guān)注。

清華大學(xué)新聞學(xué)院和人工智能學(xué)院雙聘教授沈陽在接受記者微信采訪時表示，具備視覺交互是未來大模型極其重要的發(fā)展方向之一，對于國內(nèi)大模型而言，這方面的探索同樣必要。他認(rèn)為，視覺獲取的信息占據(jù)了人類獲取總信息量的80%以上，因此，當(dāng)大模型具備了視覺交互能力后，它便擁有了向具身智能和人形機器人結(jié)合的重要技術(shù)基礎(chǔ)。

智譜清言App上線視頻通話功能

8月29日，智譜方面宣布，清言App將于30日上線“視頻通話”功能，這也是國內(nèi)*面向C端開放的視頻通話。演示顯示，用戶可以通過視頻實時交互，例如將攝像頭對準(zhǔn)一套試卷并圈出其中一題請其解答，清言就能實時識別，并給出相應(yīng)解答。

記者通過清言App體驗其視頻通話功能，將攝像頭對準(zhǔn)玩偶進行拍攝，隨后清言開始描述玩偶的顏色、外觀等。

記者將鏡頭對準(zhǔn)一本書后提問書的主要內(nèi)容，清言在幾秒后給出解答，其間記者打斷其介紹要求重復(fù)作者的名字，清言在停頓幾秒后開始介紹書籍作者。

今年5月，OpenAI發(fā)布多模態(tài)大模型GPT-4o，可以接受文本、音頻和圖像的任意組合作為輸入，并生成文本、音頻和圖片的任意組合輸出。彼時，GPT-4o憑借自然流暢的實時音視頻交互引發(fā)市場關(guān)注。

行行AI董事長、工業(yè)和信息化部工業(yè)文化發(fā)展中心AI應(yīng)用工作組執(zhí)行組長李明順在接受記者微信采訪時表示，擁有實時視頻對話和視覺交互能力的大模型確實是未來人工智能發(fā)展的重要方向之一。

李明順表示，這個方向有大量AI的應(yīng)用場景，例如：在更實時互動的娛樂游戲、更真切數(shù)字人體驗的營銷服務(wù)、形象逼真的遠程教育、金融等*行業(yè)的虛擬顧問、更有情緒價值的醫(yī)療咨詢等領(lǐng)域，都有大量的提升效率和服務(wù)體驗的價值。

沈陽則認(rèn)為，具備視覺交互是未來大模型極其重要的發(fā)展方向之一，對于國內(nèi)大模型而言，這方面的探索同樣必要，這一功能的缺失將意味著在技術(shù)上落后于國際同行，甚至可能面臨技術(shù)依賴的風(fēng)險。

沈陽表示，視覺獲取的信息占據(jù)了人類獲取總信息量的80%以上，因此，當(dāng)大模型具備了視覺交互能力后，它便擁有了向具身智能和人形機器人結(jié)合的重要技術(shù)基礎(chǔ)。具備視覺交互能力的大模型能夠?qū)崟r與環(huán)境互動，并能實時感知世界的變化，是大模型在全面模擬人類能力的重要一步，基于此，大模型才真正超越了虛擬化，能夠與世界進行實際的互動，當(dāng)大模型具備了與現(xiàn)實世界交互的能力后，就將能夠借助硬件，如人形機器人等，在人類指令下進行一定程度的真實世界探索。

清言視頻通話具備實時推理能力

記者從智譜方面了解到，清言App視頻通話功能將于8月30日上線，首批面向清言部分用戶開放，同時開放外部申請。智譜方面稱，將會持續(xù)迭代并逐步放開規(guī)模，盡快讓全員都可以使用。

隨著視頻通話功能的上線，清言App開啟新的信息輸入模式，不再局限于打字、語音；在對話交流層面，不用一來一回，能夠?qū)崟r溝通，隨時打斷。

智譜方面介紹，清言App的視頻通話功能，具有跨文本、音頻和視頻進行實時推理的能力，可實現(xiàn)更自然的人機交互；AI可以進行流暢的通話，人可以實時打斷AI；此外，通過手機或AIPC的攝像頭與人互動，可通過視頻流理解對話當(dāng)前的環(huán)境（包括人物狀態(tài)/背景環(huán)境）。

智譜方面表示，清言作為*批C端上線的大模型產(chǎn)品，過去的一年，常常以文字和語音的形式和大家交流。但未來，清言將擁有了眼睛。這個“長著眼睛”的AI精靈可以見你所見、答你所問。

據(jù)介紹，清言視頻通話跨越了文本模態(tài)、音頻模態(tài)和視頻模態(tài)，并具備實時推理的能力，用戶撥打清言的視頻通話窗口，即可與它進行通話，即便頻繁打斷它也能反應(yīng)。只要打開攝像頭，用戶看到的畫面，清言也可以看到，同時可以聽懂指令并準(zhǔn)確執(zhí)行。

除了視頻通話功能上線，在KDD國際數(shù)據(jù)挖掘與知識發(fā)現(xiàn)大會上，智譜GLM團隊介紹了新一代基座大模型GLM-4-Plus。GLM-4-Plus是智譜全自研GLM大模型的最新版本，它標(biāo)志著智譜繼續(xù)瞄準(zhǔn)通用人工智能，持續(xù)推進大模型技術(shù)的獨立自主創(chuàng)新。

據(jù)悉，GLM-4-Plus在語言理解、指令遵循、長文本處理等方面性能得到全面提升。目前，GLM-4-Plus現(xiàn)已在智譜大模型開放平臺部署，企業(yè)和開發(fā)者即日起可以通過智譜開放平臺上的API調(diào)用智譜最新的基座大模型。

此外，智譜文生圖模型迭代至最新版本CogView-3-Plus。智譜方面表示，該模型效果已接近目前文生圖領(lǐng)域效果*佳的MJ-V6及FLUX等模型，并支持圖片編輯功能。

繼CogVideoX-2B版本開源后，智譜方面表示，CogVideoX-5B版本也于近日正式開源，同時CogVideoX-2B的開源協(xié)議調(diào)整為更加開放的Apache 2.0協(xié)議，任何企業(yè)與個人均可自由使用。開源成果方面，智譜開源模型累計下載量突破2000萬次。

此外，智譜方面還宣布，隨著技術(shù)進步、效率提升和成本優(yōu)化，智譜大模型開放平臺上的大模型GLM-4-Flash現(xiàn)已完全免費，用戶可以通過調(diào)用GLM-4-Flash快速、免費地構(gòu)建專屬模型和應(yīng)用，這也是智譜開放平臺*完全免費的大模型API。