訂閱
糾錯
加入自媒體

“AI投毒”曝光之后,如何正確的跟AI搞關(guān)系,即將成為一門新生意

今年的央視3·15晚會上,AI毫無意外地成為焦點之一。“AI大模型數(shù)據(jù)投毒”,央視以直白方式曝光了這條產(chǎn)業(yè)鏈,其運作方式在報道中得到了直觀呈現(xiàn)。

在央視財經(jīng)的測試中,業(yè)內(nèi)人士隨機購買了一款名為“GEO優(yōu)化系統(tǒng)”的軟件,并虛構(gòu)了一款現(xiàn)實中不存在的產(chǎn)品——“Apollo-9智能手環(huán)”。為便于后續(xù)識別信息來源,測試者借鑒生物學中的“標記重捕”法,為該手環(huán)編造了一系列“一眼假”的賣點,如“量子糾纏技術(shù)”“黑洞級續(xù)航”。

接下來的流程展示了這項技術(shù)的運作方式:

首先,GEO軟件通過內(nèi)置算法,自動生成十余篇評測“軟文”,措辭夸張,內(nèi)容充斥著虛構(gòu)的高分用戶評價。

隨后,軟件自動登錄各大自媒體平臺,批量發(fā)布這些文章。

兩個小時后,當記者向某些匿名AI搜索引擎詢問“Apollo-9智能手環(huán)”時,這款虛假產(chǎn)品已出現(xiàn)在AI生成的回答中。

從技術(shù)角度看,這套流程并不復(fù)雜。但其背后產(chǎn)業(yè)鏈的規(guī)模,或許超出許多人的直觀感受:

在這場人為設(shè)計的測試中,具備高度智能的大語言模型,被幾篇低質(zhì)軟文成功“誤導(dǎo)”,輸出虛假信息。

這也驗證了一個此前已被提出的判斷:大語言模型的底層機制中,存在可被利用的漏洞,且不止一處。而這一現(xiàn)象背后,涉及更深層的技術(shù)與商業(yè)變革。

01 

從SEO到GEO

要理解“AI投毒”的技術(shù)原理,需要從搜索引擎的演變說起。

過去二十年,搜索引擎優(yōu)化(SEO)是互聯(lián)網(wǎng)流量分發(fā)的核心邏輯。無論國內(nèi)百度還是國外谷歌,只要摸透主流搜索引擎的爬蟲算法,通過“關(guān)鍵詞密度+外鏈數(shù)量”的組合,便可在很大程度上實現(xiàn)信息的壟斷與商業(yè)變現(xiàn)。

搜索引擎的普及本身是一次技術(shù)革命,它使知識獲取方式從書本轉(zhuǎn)向互聯(lián)網(wǎng),并催生了價值超過800億美元的產(chǎn)業(yè)。

但技術(shù)演進并未止步。

2023年后,以ChatGPT為代表的大語言模型開始改變信息獲取方式。與搜索引擎相比,ChatGPT等工具提供的直接答案頁面,通常不包含大量廣告或低質(zhì)信息。此后,蘋果、谷歌等公司陸續(xù)將AI模型深度整合進瀏覽器,傳統(tǒng)搜索引擎的商業(yè)路徑正逐步收窄。

當互聯(lián)網(wǎng)充斥著大量冗余信息,用戶對“精準總結(jié)的答案”的需求成為主流。AI工具恰好滿足了這一需求,并逐步培養(yǎng)用戶習慣。

在此背景下,傳統(tǒng)的頁面排名(Page Rank)機制的意義正在減弱,一種新的流量分發(fā)范式正在形成:生成式引擎優(yōu)化(Generative Engine Optimization, GEO)。

技術(shù)層面的迭代,開啟了一場圍繞“AI心智”的商業(yè)競爭。

02 

“AI投毒”的底層原理

現(xiàn)有大語言模型雖經(jīng)過復(fù)雜訓(xùn)練,具備較高智能水平,但其預(yù)訓(xùn)練知識庫通常是靜態(tài)的。無論是Google的Gemini、OpenAI的ChatGPT,還是DeepSeek,知識庫一般只更新至某一時間節(jié)點(如2025年)。但用戶需求是動態(tài)的。為了讓基于歷史數(shù)據(jù)訓(xùn)練的模型能回答當下問題,主流技術(shù)方案是檢索增強生成(Retrieval-Augmented Generation, RAG)。

RAG機制的應(yīng)用場景包括給定的知識庫,也可擴展至整個互聯(lián)網(wǎng)。若要讓AI承擔類似搜索引擎的功能,就需要將互聯(lián)網(wǎng)信息視為一個動態(tài)更新的知識庫。當用戶提出問題時,AI的工作流程大致如下:

檢索:在全網(wǎng)范圍內(nèi)抓取與問題相關(guān)的最新網(wǎng)頁;

閱讀:在短時間內(nèi)讀取網(wǎng)頁的核心內(nèi)容;

生成:交叉比對不同來源的信息,剔除冗余,形成包含引用的直接答案。

Refer to caption

拆解這一流程后,“AI投毒”的原理便相對清晰:問題出在生成階段的“交叉比對”環(huán)節(jié)。

這也是RAG機制的天然局限:對于預(yù)訓(xùn)練知識庫之外的信息,模型主要依靠交叉比對來判斷事實真?zhèn)。檢索時,盡管權(quán)威信源不會報道虛假信息,但若大量邊緣網(wǎng)站以相似口徑集中渲染同一虛構(gòu)產(chǎn)品——如“Apollo-9手環(huán)”的正面評價,措辭甚至高度雷同——那么在數(shù)學概率層面,假消息便可能被模型誤判為可信信息。只要人為制造的“偽證”數(shù)量足夠多,模型的閱讀理解系統(tǒng)就可能被繞過。

在這一過程中,網(wǎng)頁在傳統(tǒng)搜索引擎中的排名高低已不重要。關(guān)鍵在于,內(nèi)容是否被模型“選中”,并作為依據(jù)納入最終答案。

03 

大模型的內(nèi)容偏好

“AI投毒”的本質(zhì),是對AIGC平臺語料庫的污染。只要Transformer架構(gòu)未被顛覆,幻覺問題便難以根除,這也為“AI投毒”留下了操作空間。

目前,類似“Apollo-9手環(huán)”的虛假信息被批量投放至中文互聯(lián)網(wǎng)是否合法,尚無明確法律界定。但對于正規(guī)企業(yè)與優(yōu)質(zhì)內(nèi)容創(chuàng)作者而言,GEO機制可能帶來實質(zhì)性沖擊。

事實上,GEO技術(shù)并非新近出現(xiàn)。2024年,普林斯頓大學發(fā)表了全球首篇關(guān)于GEO的學術(shù)論文《GEO: Generative Engine Optimization》。論文中,該技術(shù)的初衷是實現(xiàn)優(yōu)質(zhì)內(nèi)容的更廣泛傳播。研究團隊構(gòu)建了包含上萬個查詢的基準測試集,通過黑盒測試得出以下結(jié)論:

其一,傳統(tǒng)SEO策略在AI主導(dǎo)的信息分發(fā)中基本失效。過去營銷號常用的“關(guān)鍵詞堆砌”(Keyword Stuffing)策略,在大語言模型中反而容易被識別為噪音。由于注意力機制的存在,信息熵較低的文本會引發(fā)困惑度(Perplexity)升高,權(quán)重隨之降低。

其二,“事實密度”(Fact Density)是影響AI內(nèi)容引用的關(guān)鍵因素。事實密度指內(nèi)容中真實信息的占比。近年來,大語言模型普遍經(jīng)過RLHF(基于人類反饋的強化學習)對齊訓(xùn)練,獎勵模型傾向于引導(dǎo)模型輸出有據(jù)可循、邏輯清晰的內(nèi)容。因此,網(wǎng)頁的事實密度越高,大模型提取內(nèi)容時的損失函數(shù)越低。

實驗數(shù)據(jù)顯示,以下簡單策略可將內(nèi)容引用率提升30%至40%:

添加引用:在內(nèi)容中附上可信來源鏈接;

添加專家引言:直接引用行業(yè)專家原話;

添加統(tǒng)計數(shù)據(jù):用具體數(shù)字替換模糊描述。

Refer to caption

其三,GEO可能成為小型平臺的“流量平權(quán)工具”。在傳統(tǒng)搜索引擎中,小網(wǎng)站因缺乏域名權(quán)重和歷史外鏈,難以與門戶網(wǎng)站競爭。但在AI檢索機制下,只要內(nèi)容提供精準數(shù)據(jù)或權(quán)威引言,小網(wǎng)站仍可能獲得較高引用率。這不僅是內(nèi)容質(zhì)量的回歸,也意味著算法底層邏輯的重構(gòu)。

04

關(guān)于GEO商業(yè)前景的兩點判斷

若從算法與學術(shù)層面抽離,以更宏觀的視角審視GEO,可以發(fā)現(xiàn)一個隱藏于技術(shù)背后的趨勢:

這一變革的本質(zhì),并非SEO的簡單升級,而是企業(yè)與互聯(lián)網(wǎng)基礎(chǔ)設(shè)施交互方式的系統(tǒng)性重構(gòu)。

過去二十年,企業(yè)在互聯(lián)網(wǎng)上的核心商業(yè)訴求是流量獲取。而未來十年,隨著AI逐步成為人類的信息代理人,企業(yè)的核心命題將轉(zhuǎn)向“大模型關(guān)系管理”(Large Model Relationship Management)。

由此可引出關(guān)于GEO商業(yè)前景的兩點判斷:

第一,未來的競價排名,標的可能不再是點擊,而是模型的“認知”。

無論是Google、OpenAI還是DeepSeek,目前大模型的商業(yè)模式以訂閱制為主,而非廣告點擊。若這些AI平臺不愿因廣告破壞用戶體驗,最終可能會開放面向B端的知識庫直連API模式;蛟S,OpenAI此前考慮在ChatGPT中加入廣告卻又擱置,亦與此有關(guān)。

未來,企業(yè)或不再爭奪搜索結(jié)果排名,而轉(zhuǎn)向向AI平臺支付“數(shù)據(jù)接入費”。通過專用API,企業(yè)可將產(chǎn)品內(nèi)容無損導(dǎo)入大模型的RAG系統(tǒng),既避免品牌推薦出現(xiàn)幻覺,也掌握了AI對產(chǎn)品的最終解釋權(quán)。

由此形成的新商機是:誰能為傳統(tǒng)企業(yè)將官網(wǎng)內(nèi)容轉(zhuǎn)化為大模型偏好的結(jié)構(gòu)化數(shù)據(jù),誰便有可能取代傳統(tǒng)廣告代理商,成為AI時代的新型數(shù)字營銷服務(wù)商。

第二,頂級的GEO策略,可能演化為逆向RAG工程。

未來企業(yè)的官網(wǎng)或產(chǎn)品詳情頁,可能不再以人類為主要閱讀對象,而是專門面向機器撰寫。產(chǎn)品優(yōu)勢、競品對比、權(quán)威背書,或?qū)⒉辉僖宰匀徽Z言呈現(xiàn),而是轉(zhuǎn)化為JSON等結(jié)構(gòu)化數(shù)據(jù)格式,甚至主動推送至大模型的抓取列表。

正如當年的Google AdWords與Facebook推薦算法,每一次信息分發(fā)權(quán)力的轉(zhuǎn)移,都會帶來流量紅利與套利空間。如今,大模型正逐步掌控人類獲取信息的入口,成為“外置大腦”。在此背景下,最先理解底層邏輯并適應(yīng)新規(guī)則的一方,仍將分到最大一塊蛋糕。

       原文標題 : “AI投毒”曝光之后,如何正確的跟AI搞關(guān)系,即將成為一門新生意

聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權(quán)或其他問題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

    人工智能 獵頭職位 更多
    掃碼關(guān)注公眾號
    OFweek人工智能網(wǎng)
    獲取更多精彩內(nèi)容
    文章糾錯
    x
    *文字標題:
    *糾錯內(nèi)容:
    聯(lián)系郵箱:
    *驗 證 碼:

    粵公網(wǎng)安備 44030502002758號