AI數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)的三個(gè)特點(diǎn)
第一個(gè)特點(diǎn)是數(shù)據(jù)組織的無(wú)標(biāo)準(zhǔn)。像傳統(tǒng)大數(shù)據(jù)基本上是一個(gè)大寬表，在大寬表之上，通過(guò)SQL來(lái)進(jìn)行ETL就能解決絕大多數(shù)問(wèn)題。但AI數(shù)據(jù)組織是沒(méi)有標(biāo)準(zhǔn)的。
舉四個(gè)例子。第一個(gè)是視頻，視頻在處理之前，一般都要進(jìn)行拆條，拆解成子視頻，比如說(shuō)定長(zhǎng)拆條，或者通過(guò)關(guān)鍵幀，或者通過(guò)場(chǎng)景來(lái)拆條。拆完以后，這一條記錄要保存父視頻和子視頻的關(guān)系，同時(shí)這個(gè)視頻里面可能還有音軌、標(biāo)題、字幕等等一些信息。
第二個(gè)例子就是用于摳圖場(chǎng)景的圖片數(shù)據(jù)，需要維護(hù)這個(gè)圖片的映射關(guān)系。
第三個(gè)例子是一個(gè)多輪對(duì)話的例子。這個(gè)多輪對(duì)話里面，可能單條記錄要包含多個(gè)模態(tài)信息，文本、視頻、音頻等等，他們之間是一個(gè)list關(guān)系。
第四個(gè)例子就是文本，數(shù)據(jù)組織形式更加復(fù)雜，不同的場(chǎng)景還是不一樣的。需要在單條記錄里就能涵蓋這些所有的AI數(shù)據(jù)的組織，這些例子可以看出來(lái)AI數(shù)據(jù)組織是沒(méi)有標(biāo)準(zhǔn)的。
第二個(gè)特點(diǎn)是AI數(shù)據(jù)相對(duì)于傳統(tǒng)的數(shù)據(jù)來(lái)說(shuō)成本比較高，從數(shù)據(jù)的獲取角度，需要去做大量的人工標(biāo)注，還有獲取有版權(quán)的數(shù)據(jù)，相對(duì)于企業(yè)內(nèi)部的結(jié)構(gòu)化數(shù)據(jù)成本非常高。還有數(shù)據(jù)存儲(chǔ)也需要消耗較大的成本，多模態(tài)數(shù)據(jù)跟傳統(tǒng)數(shù)據(jù)的存儲(chǔ)成本差異是顯而易見(jiàn)的。第三個(gè)是數(shù)據(jù)處理，除了CPU以外還需要GPU的處理。最后是網(wǎng)絡(luò)，多模態(tài)數(shù)據(jù)一般分散存儲(chǔ)在各個(gè)地域的對(duì)象存儲(chǔ)引擎里，計(jì)算引擎也是分散在各處，在處理、訓(xùn)練的時(shí)候，就需要去跨地域的進(jìn)行拖拉數(shù)據(jù)。所以全鏈路成本就比較高。
第三個(gè)特點(diǎn)就是理解成本也比較高。傳統(tǒng)數(shù)據(jù)簡(jiǎn)單進(jìn)行ETL就能夠完全理解。但是在AI數(shù)據(jù)這方面，理解就比較復(fù)雜。以視頻為例，至少包含視覺(jué)、音頻、文本三方面的信息。
文本需要一些文本的模型去進(jìn)行理解；視覺(jué)信息我們需要去抽幀，抽完幀以后通過(guò)一些OCR的手段來(lái)去識(shí)別文本，然后再進(jìn)行理解；音頻需要提取音軌然后通過(guò)ASR的手段提取文本，最后再進(jìn)行一些處理。
所以相較于傳統(tǒng)大數(shù)據(jù)，AI數(shù)據(jù)還是有很多不同。
基于MaxCompute來(lái)構(gòu)建數(shù)據(jù)處理平臺(tái)
為什么通義實(shí)驗(yàn)室要基于MaxCompute來(lái)構(gòu)建數(shù)據(jù)平臺(tái)？首先，通義實(shí)驗(yàn)室有數(shù)據(jù)統(tǒng)一管理及處理的訴求。通義實(shí)驗(yàn)室有通義千問(wèn)、通義萬(wàn)相以及多個(gè)領(lǐng)域模型。數(shù)據(jù)需要進(jìn)行統(tǒng)一管理，只有統(tǒng)一管理才能更高效的流轉(zhuǎn)。
通義實(shí)驗(yàn)室是在2020年去開(kāi)始構(gòu)建這個(gè)數(shù)據(jù)平臺(tái)。當(dāng)時(shí)通義實(shí)驗(yàn)室的各個(gè)算法團(tuán)隊(duì)還在孵化階段，業(yè)界當(dāng)時(shí)沒(méi)有成熟的解決方案。但是通義對(duì)AI數(shù)據(jù)的管理、處理的訴求是非常明確的，阿里云MaxCompute能夠滿足通義實(shí)驗(yàn)室的需求，比如支持EB級(jí)的數(shù)據(jù)存儲(chǔ)，可以基于DataWorks構(gòu)建數(shù)據(jù)處理pipeline，海量豐富的內(nèi)建UDF，也支持用各種語(yǔ)言python、java等開(kāi)發(fā)我們自己的自定義函數(shù)。
在這樣的背景下，我們選擇基于MaxCompute來(lái)構(gòu)建了通義實(shí)驗(yàn)室的大模型數(shù)據(jù)平臺(tái)。
這個(gè)是通義實(shí)驗(yàn)室大模型數(shù)據(jù)平臺(tái)的基本架構(gòu)。首先我們的外部數(shù)據(jù)包含了采購(gòu)的數(shù)據(jù)，人工標(biāo)注的數(shù)據(jù)，還有一些公開(kāi)可下載的數(shù)據(jù)。
拿到這些數(shù)據(jù)以后，第一步操作就是基于MaxCompute平臺(tái)進(jìn)行標(biāo)準(zhǔn)化。執(zhí)行標(biāo)準(zhǔn)化了以后，那么所有的通義實(shí)驗(yàn)室的算法同學(xué)來(lái)看到這個(gè)數(shù)據(jù)，不需要過(guò)多的理解就能知道數(shù)據(jù)的含義。通過(guò)這樣的方式加速提升了數(shù)據(jù)的流動(dòng)效率。
在標(biāo)準(zhǔn)化之后，我們構(gòu)建了一個(gè)數(shù)據(jù)集市，這個(gè)數(shù)據(jù)集市上面有一些比較原始的數(shù)據(jù)，也有一些高質(zhì)量的數(shù)據(jù)。數(shù)據(jù)集市之上，就是基于MaxCompute去構(gòu)建的數(shù)據(jù)處理的pipeline。
首先我們沉淀了海量的算子，比如說(shuō)Minhash去重算子，語(yǔ)種識(shí)別的算子等等。在這各種算子之上，我們?cè)贅?gòu)建了各種的處理的pipeline，包括千問(wèn)的網(wǎng)頁(yè)處理的pipeline, 還有圖片處理的pipeline等。
在數(shù)據(jù)處理之后，這個(gè)數(shù)據(jù)往往不能夠直接去用到千萬(wàn)和萬(wàn)相的訓(xùn)練中，因?yàn)樘幚硗暌院蟮臄?shù)據(jù)，我們需要保障其滿足一定質(zhì)量要求。所以我們構(gòu)建了一個(gè)清洗-訓(xùn)練-評(píng)測(cè)的數(shù)據(jù)飛輪，去不斷尋找最優(yōu)的清洗策略，最終數(shù)據(jù)質(zhì)量達(dá)到一定標(biāo)準(zhǔn)后以后，會(huì)把這個(gè)數(shù)據(jù)提供給通義千問(wèn)和通義萬(wàn)相，這個(gè)數(shù)據(jù)也會(huì)沉淀下來(lái)到我們的數(shù)據(jù)集市。
以上就是通義實(shí)驗(yàn)室的數(shù)據(jù)管理及處理解決方案，用于提供通義千萬(wàn)和通義萬(wàn)相的訓(xùn)練數(shù)據(jù)。
星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識(shí)產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問(wèn)題，煩請(qǐng)30天內(nèi)提供版權(quán)疑問(wèn)、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時(shí)溝通與處理。！：首頁(yè) > 星空人工智能產(chǎn)業(yè) > AI大模型 » 通義實(shí)驗(yàn)室基于阿里云 MaxCompute 進(jìn)行大模型數(shù)據(jù)管理及處理