IOSG | Decentralization數(shù)據(jù)層：AI時(shí)代的新基礎(chǔ)設(shè)施
TL/DR
我們?cè)懻撨^(guò)AI和Web3能夠如何各取所長(zhǎng)，在計(jì)算網(wǎng)絡(luò)、代理平臺(tái)和消費(fèi)應(yīng)用等各個(gè)垂直產(chǎn)業(yè)上相輔相成。當(dāng)聚焦在數(shù)據(jù)資源這一垂直領(lǐng)域，Web新興代表項(xiàng)目為數(shù)據(jù)的獲取，共享和利用提供了新的可能性。
傳統(tǒng)數(shù)據(jù)提供商難以滿足AI和其他數(shù)據(jù)驅(qū)動(dòng)產(chǎn)業(yè)對(duì)高質(zhì)量、實(shí)時(shí)可驗(yàn)證數(shù)據(jù)的需求，尤其在透明度、用戶控制和隱私保護(hù)方面存在局限
Web3方案正致力重塑數(shù)據(jù)生態(tài)。MPC、零知識(shí)證明和TLSNotary等技術(shù)確保數(shù)據(jù)在多個(gè)來(lái)源之間流通時(shí)的真實(shí)性和隱私保護(hù)，分布式存儲(chǔ)和邊緣計(jì)算則為數(shù)據(jù)的實(shí)時(shí)處理提供了更高的靈活性和效率。
其中Decentralization數(shù)據(jù)網(wǎng)絡(luò)這一新興基礎(chǔ)設(shè)施萌生了幾個(gè)代表性項(xiàng)目OpenLayer（模塊化的真實(shí)數(shù)據(jù)層），Grass（利用用戶閑置帶寬和Decentralization的爬蟲Node網(wǎng)絡(luò)）和Vana（用戶數(shù)據(jù)主權(quán)Layer1網(wǎng)絡(luò)），以不同的技術(shù)路徑為AI訓(xùn)練和應(yīng)用等領(lǐng)域開(kāi)辟新的前景。
通過(guò)眾包的容量、無(wú)信任的抽象層和基于Tokens的激勵(lì)機(jī)制，Decentralization數(shù)據(jù)基礎(chǔ)設(shè)施能夠提供比Web2超大規(guī)模服務(wù)商更私密、安全、高效且經(jīng)濟(jì)的解決方案，并且賦予用戶對(duì)其數(shù)據(jù)和其相關(guān)資源的控制權(quán)，構(gòu)建一個(gè)更加開(kāi)放、安全和互通的數(shù)字生態(tài)系統(tǒng)。1.數(shù)據(jù)需求浪潮
數(shù)據(jù)已成為各行業(yè)創(chuàng)新和決策的關(guān)鍵驅(qū)動(dòng)。UBS預(yù)測(cè)全球數(shù)據(jù)量預(yù)計(jì)將在2020年至2030年間增長(zhǎng)超過(guò)十倍達(dá)到660ZB，到2025年，全球每人每天將產(chǎn)生463EB（Exabytes，1EB=10億GB）的數(shù)據(jù)。數(shù)據(jù)即服務(wù)（DaaS）市場(chǎng)在快速擴(kuò)張，根據(jù)GrandViewResearch的報(bào)告，全球DaaS市場(chǎng)在2023年的估值為143.6億美元，預(yù)計(jì)到2030年將以28.1%的復(fù)合年增長(zhǎng)率增長(zhǎng)，最終達(dá)到768億美元。這些高增長(zhǎng)的數(shù)字背后是多個(gè)產(chǎn)業(yè)領(lǐng)域?qū)Ω哔|(zhì)量、實(shí)時(shí)可信賴數(shù)據(jù)的需求。
AI模型訓(xùn)練依賴大量數(shù)據(jù)輸入，用于識(shí)別模式和調(diào)整參數(shù)。訓(xùn)練后也需要數(shù)據(jù)集測(cè)試模型的性能和泛化能力。此外，AIagent作為未來(lái)可預(yù)見(jiàn)的新興智能應(yīng)用形式，需要實(shí)時(shí)可靠的數(shù)據(jù)源，以確保準(zhǔn)確的決策和任務(wù)執(zhí)行。
(Source:kdnuggets.com)
傳統(tǒng)數(shù)據(jù)架構(gòu)在專業(yè)服務(wù)方面有效，但集中化模式的局限性日益明顯。特別是在新興數(shù)據(jù)源的覆蓋、透明度和用戶隱私保護(hù)方面，傳統(tǒng)數(shù)據(jù)生態(tài)系統(tǒng)正面臨挑戰(zhàn)。這里例舉幾個(gè)方面：
數(shù)據(jù)覆蓋不足：傳統(tǒng)數(shù)據(jù)提供商在快速捕捉和分析如社交媒體情緒、物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)等新興數(shù)據(jù)源方面存在挑戰(zhàn)。中心化系統(tǒng)難以高效地獲取和整合來(lái)自眾多小規(guī)模或非主流來(lái)源的"長(zhǎng)尾"數(shù)據(jù)。
比如2021年GameStop事件就揭示了傳統(tǒng)金融數(shù)據(jù)提供商在分析社交媒體情緒時(shí)的局限性。Reddit等平臺(tái)上的投資者情緒迅速改變了市場(chǎng)走勢(shì)，但像Bloomberg和Reuters這樣的數(shù)據(jù)終端未能及時(shí)捕捉到這些動(dòng)態(tài)，導(dǎo)致市場(chǎng)預(yù)測(cè)滯后。
數(shù)據(jù)可訪問(wèn)性受限：壟斷限制了可訪問(wèn)性。許多傳統(tǒng)提供商通過(guò)API/云服務(wù)開(kāi)放部分?jǐn)?shù)據(jù)，但高昂的訪問(wèn)費(fèi)用和復(fù)雜授權(quán)流程仍然增加了數(shù)據(jù)整合的難度。
鏈上開(kāi)發(fā)者難以快速接入可靠的鏈下數(shù)據(jù)，高質(zhì)量數(shù)據(jù)被少數(shù)巨頭壟斷，訪問(wèn)成本高。
數(shù)據(jù)透明度和可信度問(wèn)題：許多中心化數(shù)據(jù)提供商對(duì)其數(shù)據(jù)收集和處理方法缺乏透明度，且缺乏有效的機(jī)制來(lái)驗(yàn)證大規(guī)模數(shù)據(jù)的真實(shí)性和完整性。大規(guī)模實(shí)時(shí)數(shù)據(jù)的驗(yàn)證仍然是一個(gè)復(fù)雜的問(wèn)題,中心化的本質(zhì)也增加了數(shù)據(jù)被篡改或操縱的風(fēng)險(xiǎn)。
隱私保護(hù)和數(shù)據(jù)所有權(quán)：大型科技公司大規(guī)模商用了用戶數(shù)據(jù)。用戶作為私人數(shù)據(jù)的創(chuàng)造者，很難從中獲得應(yīng)有的價(jià)值回報(bào)。用戶通常無(wú)法了解他們的數(shù)據(jù)如何被收集、處理和使用，也難以決定數(shù)據(jù)的使用范圍和方式。過(guò)度收集和使用也導(dǎo)致嚴(yán)重的隱私風(fēng)險(xiǎn)。
例如，F(xiàn)acebook的CambridgeAnalytica事件就暴露了傳統(tǒng)數(shù)據(jù)提供商如何在數(shù)據(jù)使用透明度和隱私保護(hù)方面存在巨大漏洞。
數(shù)據(jù)孤島：此外，不同來(lái)源、格式的實(shí)時(shí)數(shù)據(jù)難以快速整合，影響了全面分析的可能性。很多數(shù)據(jù)往往被鎖在組織內(nèi)部，限制了跨行業(yè)和跨組織的數(shù)據(jù)共享和創(chuàng)新，數(shù)據(jù)孤島效應(yīng)阻礙了跨域的數(shù)據(jù)整合和分析。
比如在消費(fèi)行業(yè)，品牌需要整合來(lái)自電商平臺(tái)、實(shí)體店、社交媒體和市場(chǎng)研究的數(shù)據(jù)，但這些數(shù)據(jù)可能由于平臺(tái)形式不統(tǒng)一或被隔離，難以整合。再例如，像Uber和Lyft這樣的共享出行公司，雖然它們都收集大量來(lái)自用戶的，關(guān)于交通、乘客需求和地理位置的實(shí)時(shí)數(shù)據(jù)，但由于競(jìng)爭(zhēng)關(guān)系，這些數(shù)據(jù)無(wú)法提出并共享整合。
除此以外，還有成本效率、靈活性等問(wèn)題。傳統(tǒng)數(shù)據(jù)商正在積極應(yīng)對(duì)這些挑戰(zhàn), 但異軍突起的Web3技術(shù)為解決這些問(wèn)題提供了新的思路和可能性。3.Web3數(shù)據(jù)生態(tài)
自2014年IPFS（InterPlanetaryFileSystem）等Decentralization存儲(chǔ)方案發(fā)布以來(lái)，業(yè)界涌現(xiàn)出一系列新興項(xiàng)目，致力于解決傳統(tǒng)數(shù)據(jù)生態(tài)的局限性。我們看到Decentralization數(shù)據(jù)解決方案已經(jīng)形成了一個(gè)多層次、相互連接的生態(tài)系統(tǒng)，涵蓋了數(shù)據(jù)生命周期的各個(gè)階段，包括數(shù)據(jù)生成、存儲(chǔ)、交換、處理與分析、驗(yàn)證與安全，以及隱私與所有權(quán)。
數(shù)據(jù)存儲(chǔ)：Filecoin和Arweave的快速發(fā)展證明了Decentralization存儲(chǔ)（DCS）正在成為存儲(chǔ)領(lǐng)域的范式轉(zhuǎn)變。DCS方案通過(guò)分布式架構(gòu)減少了單點(diǎn)故障風(fēng)險(xiǎn)，同時(shí)以更具競(jìng)爭(zhēng)力的成本效益吸引參與者。隨著一系列規(guī)模化應(yīng)用案例的涌現(xiàn)，DCS的存儲(chǔ)容量呈現(xiàn)爆發(fā)式增長(zhǎng)（例如Filecoin網(wǎng)絡(luò)的總存儲(chǔ)容量在2024年已達(dá)到22exabytes）。
處理和分析：Fluence等Decentralization數(shù)據(jù)運(yùn)算平臺(tái)通過(guò)邊緣計(jì)算（EdgeComputing）技術(shù)提高了數(shù)據(jù)處理的實(shí)時(shí)性和效率，特別適用于物聯(lián)網(wǎng)（IoT）和AI推理等對(duì)實(shí)時(shí)性要求較高的應(yīng)用場(chǎng)景。Web3項(xiàng)目利用聯(lián)邦學(xué)習(xí)、差分隱私、可信執(zhí)行環(huán)境、全同態(tài)加密等技術(shù)在計(jì)算層上提供靈活的隱私保護(hù)和權(quán)衡。
數(shù)據(jù)市場(chǎng)/交換平臺(tái)：為了促進(jìn)數(shù)據(jù)的價(jià)值量化和流通，OceanProtocol通過(guò)Tokens化和DEX機(jī)制,創(chuàng)建了高效且開(kāi)放的數(shù)據(jù)交換渠道，例如幫助傳統(tǒng)制造公司（奔馳母公司Daimler）合作開(kāi)發(fā)數(shù)據(jù)交換市場(chǎng)，以幫助其供應(yīng)鏈管理中的數(shù)據(jù)分享。另一方面，Streamr則創(chuàng)造了適用于IoT和實(shí)時(shí)分析場(chǎng)景的無(wú)許可、訂閱式數(shù)據(jù)流網(wǎng)絡(luò)，在交通、物流項(xiàng)目中顯示了出色的潛力（例如與芬蘭智能城市項(xiàng)目合作）。
隨著數(shù)據(jù)交換和利用的日益頻繁，數(shù)據(jù)的真實(shí)性、可信度和隱私保護(hù)成為了不可忽視的關(guān)鍵問(wèn)題。這促使Web3生態(tài)系統(tǒng)將創(chuàng)新延伸到了數(shù)據(jù)驗(yàn)證和隱私保護(hù)領(lǐng)域，催生了一系列突破性的解決方案。3.1數(shù)據(jù)驗(yàn)證與隱私保護(hù)的革新
許多web3技術(shù)及原生項(xiàng)目正致力于解決數(shù)據(jù)真實(shí)性和私有數(shù)據(jù)保護(hù)問(wèn)題。除了ZK，MPC等技術(shù)發(fā)展被廣泛應(yīng)用，其中傳輸層安全協(xié)議公證（TLSNotary）作為一種新興的驗(yàn)證方法尤其值得關(guān)注。
TLSNotary簡(jiǎn)介
傳輸層安全協(xié)議（TLS）是一種廣泛用于網(wǎng)絡(luò)通信的加密協(xié)議，旨在確保客戶端和服務(wù)器之間的數(shù)據(jù)傳輸?shù)陌踩浴⑼暾院捅Ｃ苄浴Ｋ乾F(xiàn)代網(wǎng)絡(luò)通信中常見(jiàn)的加密標(biāo)準(zhǔn)，被用于HTTPS、電子郵件、即時(shí)通訊等多個(gè)場(chǎng)景。
(ProjectsworkingonTLSOracles,Source:BastianWetzel)
Web3數(shù)據(jù)驗(yàn)證作為數(shù)據(jù)生態(tài)鏈條上的一個(gè)重要環(huán)節(jié)，應(yīng)用前景十分廣闊，其生態(tài)的興榮正引導(dǎo)著一個(gè)更開(kāi)放、動(dòng)態(tài)和以用戶為中心的數(shù)字經(jīng)濟(jì)。然而，真實(shí)性驗(yàn)證技術(shù)的發(fā)展僅僅是構(gòu)建新一代數(shù)據(jù)基礎(chǔ)設(shè)施的開(kāi)始。4.Decentralization數(shù)據(jù)網(wǎng)絡(luò)
一些項(xiàng)目則結(jié)合上述的數(shù)據(jù)驗(yàn)證技術(shù)，在數(shù)據(jù)生態(tài)的上游，即數(shù)據(jù)溯源、數(shù)據(jù)的分布式采集和可信傳輸上做出更深入的探索。下面重點(diǎn)討論幾個(gè)代表性項(xiàng)目：OpenLayer，Grass和Vana，它們?cè)跇?gòu)建新一代數(shù)據(jù)基礎(chǔ)設(shè)施方面展現(xiàn)出獨(dú)特的潛力。4.1OpenLayer
OpenLayer是a16zCrypto2024春季加密創(chuàng)業(yè)加速器項(xiàng)目之一，作為首個(gè)模塊化的真實(shí)數(shù)據(jù)層，致力于提供一個(gè)創(chuàng)新的模塊化解決方案，用于協(xié)調(diào)數(shù)據(jù)的收集、驗(yàn)證和轉(zhuǎn)換，以同時(shí)滿足Web2和Web3公司的需求。OpenLayer已吸引了包括GeometryVentures、LongHashVentures在內(nèi)的知名基金和天使投資者的支持。
傳統(tǒng)數(shù)據(jù)層存在多重挑戰(zhàn)：缺乏可信驗(yàn)證機(jī)制，依賴中心化架構(gòu)導(dǎo)致訪問(wèn)性受限，不同系統(tǒng)間的數(shù)據(jù)缺乏互操作性和流動(dòng)性，同時(shí)也沒(méi)有公平的數(shù)據(jù)價(jià)值分配機(jī)制。
一個(gè)更加具象化的問(wèn)題是，當(dāng)今AI訓(xùn)練數(shù)據(jù)正變得日益稀缺。在公共互聯(lián)網(wǎng)上，許多網(wǎng)站開(kāi)始通過(guò)反爬蟲限制措施來(lái)防止AI公司大規(guī)模抓取數(shù)據(jù)。
而在私密專有數(shù)據(jù)方面，情況則更為復(fù)雜，許多有價(jià)值的數(shù)據(jù)由于其敏感性質(zhì)而以隱私保護(hù)的方式存儲(chǔ)，缺乏有效的激勵(lì)機(jī)制。在這種現(xiàn)狀下，用戶無(wú)法安全地通過(guò)提供私人數(shù)據(jù)獲得直接收益，因此不愿意共享這些敏感數(shù)據(jù)。
為了解決這些問(wèn)題，OpenLayer結(jié)合數(shù)據(jù)驗(yàn)證技術(shù)搭建了一個(gè)模塊化真實(shí)數(shù)據(jù)層（ModularAuthenticDataLayer），并以Decentralization+經(jīng)濟(jì)激勵(lì)的方式來(lái)協(xié)調(diào)數(shù)據(jù)收集、驗(yàn)證和轉(zhuǎn)換過(guò)程，為Web2和Web3公司提供一個(gè)更安全、高效率、靈活的數(shù)據(jù)基礎(chǔ)設(shè)施。4.1.1OpenLayer模塊化設(shè)計(jì)的核心組件
OpenLayer提供了一個(gè)模塊化的平臺(tái)以簡(jiǎn)化數(shù)據(jù)的收集、可信驗(yàn)證和轉(zhuǎn)換過(guò)程流程：
a)OpenNodes
OpenNodes是OpenLayer生態(tài)系統(tǒng)中負(fù)責(zé)Decentralization數(shù)據(jù)收集的核心組件，通過(guò)用戶的移動(dòng)應(yīng)用、瀏覽器擴(kuò)展等渠道收集數(shù)據(jù)，不同的運(yùn)營(yíng)商/Node可以根據(jù)其硬件規(guī)格執(zhí)行最適合的任務(wù)而優(yōu)化回報(bào)。
OpenNodes支持三種主要的數(shù)據(jù)類型，以滿足不同類型任務(wù)的需求：
公開(kāi)可用的互聯(lián)網(wǎng)數(shù)據(jù)（如金融數(shù)據(jù)、天氣數(shù)據(jù)、體育數(shù)據(jù)和社交媒體流）
用戶私人數(shù)據(jù)（如Netflix觀看歷史、Amazon訂單記錄等）
來(lái)自安全來(lái)源的自報(bào)告數(shù)據(jù)（如由專有所有者簽名或特定可信硬件驗(yàn)證的數(shù)據(jù)）。
開(kāi)發(fā)者可以輕松添加新的數(shù)據(jù)類型,指定新的數(shù)據(jù)源，需求和數(shù)據(jù)檢索方法,用戶可以選擇提供去識(shí)別化的數(shù)據(jù)以換取獎(jiǎng)勵(lì)。這種設(shè)計(jì)使得系統(tǒng)可以不斷擴(kuò)展以適應(yīng)新的數(shù)據(jù)需求，多樣化的數(shù)據(jù)源使得OpenLayer能夠?yàn)楦鞣N應(yīng)用場(chǎng)景提供全面的數(shù)據(jù)支持，也降低了數(shù)據(jù)提供的門檻。
b)OpenValidators
OpenValidators負(fù)責(zé)收集之后的數(shù)據(jù)驗(yàn)證，允許數(shù)據(jù)消費(fèi)者確認(rèn)用戶提供的數(shù)據(jù)與數(shù)據(jù)源的完全匹配。所有提供的驗(yàn)證方法可以進(jìn)行加密證明的,驗(yàn)證結(jié)果可以在事后被證實(shí)。同一類型的證明,有多個(gè)不同的提供商提供服務(wù)。開(kāi)發(fā)者可以根據(jù)自己的需求選擇最適合的驗(yàn)證提供商。
在初始用例中,特別是針對(duì)來(lái)自互聯(lián)網(wǎng)API的公共或私有數(shù)據(jù),OpenLayer以TLSNotary作為驗(yàn)證解決方案，從任何Web應(yīng)用程序?qū)С鰯?shù)據(jù),并在不損害隱私的情況下證明數(shù)據(jù)的真實(shí)性。
不局限于TLSNotary，得益于其模塊化設(shè)計(jì),驗(yàn)證系統(tǒng)可以輕松接入其他驗(yàn)證方法，以適應(yīng)不同類型的數(shù)據(jù)和驗(yàn)證需求包括但不限于:
AttestedTLSconnections:利用可信執(zhí)行環(huán)境(TEE)建立經(jīng)過(guò)認(rèn)證的TLS連接,確保數(shù)據(jù)在傳輸過(guò)程中的完整性和真實(shí)性。
SecureEnclaves:使用硬件級(jí)別的安全隔離環(huán)境(如IntelSGX)來(lái)處理和驗(yàn)證敏感數(shù)據(jù),提供更高級(jí)別的數(shù)據(jù)保護(hù)。
ZKProofGenerators:集成ZKP,允許在不泄露原始數(shù)據(jù)的情況下驗(yàn)證數(shù)據(jù)的屬性或計(jì)算結(jié)果。
c)OpenConnect
OpenConnect是OpenLayer生態(tài)系統(tǒng)中負(fù)責(zé)數(shù)據(jù)轉(zhuǎn)換，實(shí)現(xiàn)可用性的核心模塊，處理來(lái)自各種來(lái)源的數(shù)據(jù),確保數(shù)據(jù)在不同系統(tǒng)間的互操作性,以滿足不同應(yīng)用的需求。例如:
將數(shù)據(jù)轉(zhuǎn)換為鏈上預(yù)言機(jī)（Oracle）格式,便于智能合約直接使用。
將非結(jié)構(gòu)化原始數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù),為AI訓(xùn)練等目的進(jìn)行預(yù)處理。
對(duì)于來(lái)自用戶私人賬戶的數(shù)據(jù),OpenConnect提供了數(shù)據(jù)脫敏功能以保護(hù)隱私，也提供了組件來(lái)增強(qiáng)數(shù)據(jù)共享過(guò)程中的安全性,減少數(shù)據(jù)泄露和濫用。為了滿足AI和Blockchain等應(yīng)用對(duì)實(shí)時(shí)數(shù)據(jù)的需求,OpenConnect支持高效的實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)換。
當(dāng)下，通過(guò)和Eigenlayer的集成，OpenLayerAVS運(yùn)營(yíng)商監(jiān)聽(tīng)數(shù)據(jù)請(qǐng)求任務(wù),負(fù)責(zé)抓取數(shù)據(jù)并進(jìn)行驗(yàn)證,然后將結(jié)果報(bào)告回系統(tǒng)，通過(guò)EigenLayer質(zhì)押或重質(zhì)押資產(chǎn),為其行為提供經(jīng)濟(jì)擔(dān)保。如惡意行為被證實(shí),將面臨質(zhì)押資產(chǎn)被罰沒(méi)的風(fēng)險(xiǎn)。作為EigenLayer主網(wǎng)上最早的的AVS(主動(dòng)驗(yàn)證服務(wù))之一,OpenLayer已經(jīng)吸引了超過(guò)50個(gè)運(yùn)營(yíng)商和40億美元的再質(zhì)押資產(chǎn)。
總的來(lái)說(shuō)，OpenLayer所構(gòu)建的Decentralization數(shù)據(jù)層在不犧牲實(shí)用性和效率的前提下，擴(kuò)展了可用數(shù)據(jù)的范圍和多樣性，同時(shí)通過(guò)加密技術(shù)和經(jīng)濟(jì)激勵(lì)，確保了數(shù)據(jù)的真實(shí)性和完整性。其技術(shù)對(duì)于尋求獲取鏈下信息的Web3Dapp、需要用真實(shí)輸入來(lái)訓(xùn)練和推斷的AI模型，以及希望根據(jù)現(xiàn)有身份和聲譽(yù)來(lái)細(xì)分和定位用戶的公司都有廣泛的實(shí)際用例。用戶也得以價(jià)值化他們的私有數(shù)據(jù)。4.2Grass
Grass是由WyndNetwork開(kāi)發(fā)的旗艦項(xiàng)目，旨在創(chuàng)建一個(gè)Decentralization的網(wǎng)絡(luò)爬蟲和AI訓(xùn)練數(shù)據(jù)平臺(tái)。在2023年末，Grass項(xiàng)目完成了由PolychainCapital和TribeCapital領(lǐng)投的350萬(wàn)美元種子輪融資。緊接著，在2024年9月，項(xiàng)目又迎來(lái)了由HackVC領(lǐng)投的A輪融資，Polychain、Delphi、Lattice和BrevanHoward等知名投資機(jī)構(gòu)也參與其中。
我們提到AI訓(xùn)練需要新的數(shù)據(jù)敞口，而其中一個(gè)解決方案是使用多IP來(lái)突破數(shù)據(jù)訪問(wèn)的權(quán)限，為AI進(jìn)行數(shù)據(jù)喂養(yǎng)。Grass由此出發(fā)，創(chuàng)造了一個(gè)分布式爬蟲Node網(wǎng)絡(luò)，專門致力于以Decentralization物理基礎(chǔ)設(shè)施的方式，利用用戶的閑置帶寬為AI訓(xùn)練收集并提供可驗(yàn)證數(shù)據(jù)集。Node通過(guò)用戶的互聯(lián)網(wǎng)連接路由web請(qǐng)求,訪問(wèn)公開(kāi)網(wǎng)站并編譯結(jié)構(gòu)化數(shù)據(jù)集。它使用邊緣計(jì)算技術(shù)進(jìn)行初步數(shù)據(jù)清理和格式化,提高數(shù)據(jù)質(zhì)量。
Grass采用了SolanaLayer2DataRollup架構(gòu),建立在Solana之上以提高處理效率。Grass使用驗(yàn)證器接收、驗(yàn)證和批處理來(lái)自Node的web交易,生成ZK證明以確保數(shù)據(jù)真實(shí)性。驗(yàn)證后的數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)賬本(L2)中,并鏈接到相應(yīng)的L1鏈上證明。4.2.1Grass主要組件
a) GrassNode
與OpenNodes類似，C端用戶安裝Grass應(yīng)用或?yàn)g覽器擴(kuò)展并運(yùn)行,利用閑置帶寬進(jìn)行網(wǎng)絡(luò)爬蟲操作,Node通過(guò)用戶的互聯(lián)網(wǎng)連接路由web請(qǐng)求,訪問(wèn)公開(kāi)網(wǎng)站并編譯結(jié)構(gòu)化數(shù)據(jù)集，使用邊緣計(jì)算技術(shù)進(jìn)行初步數(shù)據(jù)清理和格式化。用戶根據(jù)貢獻(xiàn)的帶寬和數(shù)據(jù)量獲得GRASSTokens獎(jiǎng)勵(lì)。
b)路由器(Routers)
連接GrassNode和驗(yàn)證器,管理Node網(wǎng)絡(luò)并中繼帶寬。Routers被激勵(lì)運(yùn)營(yíng)并獲得獎(jiǎng)勵(lì),獎(jiǎng)勵(lì)比例與通過(guò)其中繼的總驗(yàn)證帶寬成正比。
c)驗(yàn)證器(Validators)
接收、驗(yàn)證和批處理來(lái)自路由器的web交易,生成ZK證明，使用獨(dú)特的密鑰集來(lái)建立TLS連接,為與目標(biāo)web服務(wù)器的通信選擇適當(dāng)?shù)拿艽a套件。Grass目前采用中心化驗(yàn)證器,未來(lái)計(jì)劃轉(zhuǎn)向驗(yàn)證器委員會(huì)。
d)ZK處理器(ZKProcessor)
接收來(lái)自驗(yàn)證者的生成每個(gè)Node會(huì)話數(shù)據(jù)的證明，批處理所有web請(qǐng)求的有效性證明并提交到Layer1（Solana）。
e)Grass數(shù)據(jù)賬本（GrassL2）
存儲(chǔ)完整的數(shù)據(jù)集，并鏈接到相應(yīng)的L1鏈（Solana）上證明。
f)邊緣嵌入模型
負(fù)責(zé)將非結(jié)構(gòu)化web數(shù)據(jù)轉(zhuǎn)換為可用與AI訓(xùn)練的結(jié)構(gòu)化模型。
（Source：IOSG,David）
4.3VAVA
作為一個(gè)以用戶為中心的數(shù)據(jù)池網(wǎng)絡(luò)，Vana同樣致力于為AI和相關(guān)應(yīng)用提供高質(zhì)量數(shù)據(jù)。相比OpenLayer和Grass，Vana采用了更不同的技術(shù)路徑和商業(yè)模式。Vana在2024年9月完成500萬(wàn)美元融資，由CoinbaseVentures領(lǐng)投，此前獲得Paradigm領(lǐng)投的1800萬(wàn)美元A輪融資，其他知名投資者包括Polychain,CaseyCaruso等。
最初于2018年作為MIT的一個(gè)研究項(xiàng)目啟動(dòng)，Vana旨在成為一個(gè)專門為用戶私有數(shù)據(jù)設(shè)計(jì)的Layer1Blockchain。其在數(shù)據(jù)所有權(quán)和價(jià)值分配上做出的創(chuàng)新使用戶能夠從基于其數(shù)據(jù)訓(xùn)練的AI模型中獲利。Vana的核心在于通過(guò)無(wú)需信任、私密且可歸因的數(shù)據(jù)流動(dòng)性池（DataLiquidityPool）和創(chuàng)新的ProofofContribution機(jī)制來(lái)實(shí)現(xiàn)私人數(shù)據(jù)的流通和價(jià)值化：
4.3.1.數(shù)據(jù)流動(dòng)性池（DataLiquidityPool）
Vana引入了一個(gè)獨(dú)特的數(shù)據(jù)流動(dòng)性池（DLP）概念：作為Vana網(wǎng)絡(luò)的核心組件，每個(gè)DLP都是一個(gè)獨(dú)立的點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò)，用于聚合特定類型的數(shù)據(jù)資產(chǎn)。用戶可以將他們的私人數(shù)據(jù)（如購(gòu)物記錄、瀏覽習(xí)慣、社交媒體活動(dòng)等）上傳至特定DLP，并靈活選擇是否將這些數(shù)據(jù)授權(quán)給特定的第三方使用。數(shù)據(jù)通過(guò)這些流動(dòng)性池被整合和管理，這些數(shù)據(jù)經(jīng)過(guò)去識(shí)別化處理，確保用戶隱私的同時(shí)允許數(shù)據(jù)參與商業(yè)應(yīng)用，例如用于AI模型訓(xùn)練或市場(chǎng)研究。
用戶向DLP提交數(shù)據(jù)并獲得相應(yīng)的DLPTokens（每一個(gè)DLP都有特定的Tokens）獎(jiǎng)勵(lì)，這些Tokens不僅代表用戶對(duì)數(shù)據(jù)池的貢獻(xiàn)，還賦予用戶對(duì)DLP的治理權(quán)和未來(lái)利潤(rùn)分配權(quán)。用戶不僅可以分享數(shù)據(jù)，還可以從數(shù)據(jù)的后續(xù)調(diào)用中獲取持續(xù)的收益（并提供可視化追蹤）。與傳統(tǒng)的單次數(shù)據(jù)售賣不同，Vana允許數(shù)據(jù)持續(xù)參與經(jīng)濟(jì)循環(huán)。
4.3.2.ProofofContribution機(jī)制
Vana的另一核心創(chuàng)新之一是ProofofContribution（貢獻(xiàn)證明）機(jī)制。這是Vana確保數(shù)據(jù)質(zhì)量的關(guān)鍵機(jī)制，讓每個(gè)DLP可以根據(jù)其特性定制獨(dú)特的貢獻(xiàn)證明函數(shù)，以驗(yàn)證數(shù)據(jù)的真實(shí)性和完整性，并評(píng)估數(shù)據(jù)對(duì)AI模型性能提升的貢獻(xiàn)。這一機(jī)制確保用戶的數(shù)據(jù)貢獻(xiàn)得到量化和記錄，從而為用戶提供獎(jiǎng)勵(lì)。與Crypto中的“工作量證明”（ProofofWork）類似，ProofofContribution根據(jù)用戶貢獻(xiàn)的數(shù)據(jù)質(zhì)量、數(shù)量以及被使用的頻次來(lái)為用戶分配收益。通過(guò)智能合約自動(dòng)執(zhí)行，確保貢獻(xiàn)者獲得與其貢獻(xiàn)匹配的獎(jiǎng)勵(lì)。Vana的技術(shù)架構(gòu)
數(shù)據(jù)流動(dòng)性層（DataLiquidityLayer）
這是Vana的核心層，負(fù)責(zé)數(shù)據(jù)的貢獻(xiàn)、驗(yàn)證和記錄到DLPs，將數(shù)據(jù)作為可轉(zhuǎn)移的數(shù)字資產(chǎn)引入鏈上。DLP創(chuàng)建者部署DLP智能合約，設(shè)定數(shù)據(jù)貢獻(xiàn)目的、驗(yàn)證方法和貢獻(xiàn)參數(shù)。數(shù)據(jù)貢獻(xiàn)者和托管者提交數(shù)據(jù)進(jìn)行驗(yàn)證，貢獻(xiàn)證明（PoC）模塊會(huì)執(zhí)行數(shù)據(jù)驗(yàn)證和價(jià)值評(píng)估，根據(jù)參數(shù)給予治理權(quán)和獎(jiǎng)勵(lì)。
數(shù)據(jù)可移植層（DataPortabilityLayer）
這是數(shù)據(jù)貢獻(xiàn)者和開(kāi)發(fā)者的開(kāi)放數(shù)據(jù)平臺(tái)，也是Vana的應(yīng)用層。DataPortabilityLayer為數(shù)據(jù)貢獻(xiàn)者和開(kāi)發(fā)者提供一個(gè)協(xié)作空間，以使用DLPs中積累的數(shù)據(jù)流動(dòng)性構(gòu)建應(yīng)用。為User-Owned模型分布式訓(xùn)練，AIDapp開(kāi)發(fā)提供基礎(chǔ)設(shè)施。
通用連接組（Connectome）
一個(gè)Decentralization賬本，也是一個(gè)貫穿整個(gè)Vana生態(tài)系統(tǒng)的實(shí)時(shí)數(shù)據(jù)流圖，使用權(quán)益證明共識(shí)（ProofofStake）記錄Vana生態(tài)系統(tǒng)中的實(shí)時(shí)數(shù)據(jù)交易。確保DLPTokens的有效轉(zhuǎn)移并為應(yīng)用提供跨DLP數(shù)據(jù)訪問(wèn)。與EVM兼容，允許與其他網(wǎng)絡(luò)、協(xié)議和DeFi應(yīng)用程序互操作。
（Source：Vana）
Vana提供了一條較為不同的路徑，專注于用戶數(shù)據(jù)的流動(dòng)性和價(jià)值賦能，這種Decentralization的數(shù)據(jù)交換模式不僅適用于AI訓(xùn)練、數(shù)據(jù)市場(chǎng)等場(chǎng)景，也為Web3生態(tài)系統(tǒng)中用戶數(shù)據(jù)的跨平臺(tái)互通與授權(quán)提供了一個(gè)新的解決方案，最終創(chuàng)建一個(gè)開(kāi)放的互聯(lián)網(wǎng)生態(tài)系統(tǒng)，讓用戶擁有并管理自己的數(shù)據(jù)，以及由這些數(shù)據(jù)創(chuàng)造的智能產(chǎn)品。
5. Decentralization數(shù)據(jù)網(wǎng)絡(luò)的價(jià)值主張
數(shù)據(jù)科學(xué)家克萊夫·哈姆比（CliveHumby）在2006年說(shuō)過(guò)數(shù)據(jù)是新時(shí)代的石油。近20年間，我們見(jiàn)證了"提煉"技術(shù)的飛速發(fā)展。大數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等技術(shù)使得數(shù)據(jù)價(jià)值得到了空前釋放。根據(jù)IDC的預(yù)測(cè)，到2025年，全球數(shù)據(jù)圈將增長(zhǎng)到163ZB，其中大部分將來(lái)自個(gè)人用戶，隨著IoT、可穿戴設(shè)備、AI與個(gè)性化服務(wù)等新興科技的普及，未來(lái)大量需要商用的數(shù)據(jù)將也將來(lái)源于個(gè)人。傳統(tǒng)方案的痛點(diǎn)：Web3的解鎖創(chuàng)新
Web3數(shù)據(jù)解決方案通過(guò)分布式Node網(wǎng)絡(luò)，突破了傳統(tǒng)設(shè)施的局限，實(shí)現(xiàn)了更廣泛、更高效的數(shù)據(jù)采集，同時(shí)提升了特定數(shù)據(jù)的實(shí)時(shí)獲取效率和驗(yàn)證可信度。在此過(guò)程中，Web3技術(shù)確保了數(shù)據(jù)的真實(shí)性和完整性，并能有效保護(hù)用戶隱私，從而實(shí)現(xiàn)更公平的數(shù)據(jù)利用模式。這種Decentralization的數(shù)據(jù)架構(gòu)，推動(dòng)了數(shù)據(jù)獲取的民主化。
不管是OpenLayer和Grass的用戶Node模式，還是Vana通過(guò)用戶私有數(shù)據(jù)的貨幣化，除了提高特定數(shù)據(jù)采集的效率，也讓普通用戶共享數(shù)據(jù)經(jīng)濟(jì)的紅利，創(chuàng)造一種用戶與開(kāi)發(fā)者雙贏的模式，讓用戶真正掌控和獲益于他們的數(shù)據(jù)和相關(guān)資源。
通過(guò)Tokens經(jīng)濟(jì)，Web3數(shù)據(jù)方案重新設(shè)計(jì)了激勵(lì)模型，創(chuàng)造了一個(gè)更加公平的數(shù)據(jù)價(jià)值分配機(jī)制。吸引了大量用戶、硬件資源與資本的注入，從而協(xié)調(diào)并優(yōu)化了整個(gè)數(shù)據(jù)網(wǎng)絡(luò)的運(yùn)行。
比起傳統(tǒng)數(shù)據(jù)解決方案，它們也擁有模塊化與可擴(kuò)展性：比如Openlayer的模塊化設(shè)計(jì)，為未來(lái)的技術(shù)迭代和生態(tài)擴(kuò)展提供了靈活性。得益于技術(shù)特性，優(yōu)化AI模型訓(xùn)練的數(shù)據(jù)獲取方式，提供更豐富、更多樣化的數(shù)據(jù)集。
從數(shù)據(jù)生成、存儲(chǔ)、驗(yàn)證到交換與分析，Web3驅(qū)動(dòng)的解決方案通過(guò)獨(dú)有技術(shù)優(yōu)勢(shì)解決者傳統(tǒng)設(shè)施的諸多弊端，同時(shí)也賦予用戶對(duì)個(gè)人數(shù)據(jù)的變現(xiàn)能力，引發(fā)數(shù)據(jù)經(jīng)濟(jì)模式的根本轉(zhuǎn)變。隨著技術(shù)進(jìn)一步發(fā)展演進(jìn)和應(yīng)用場(chǎng)景的擴(kuò)大，Decentralization數(shù)據(jù)層有望和其他Web3數(shù)據(jù)解決方案一起，成為下一代關(guān)鍵基礎(chǔ)設(shè)施，為廣泛的數(shù)據(jù)驅(qū)動(dòng)型產(chǎn)業(yè)提供支持。