數據全生命周期管理依據不(bù)同數據在不(bù)同階段的價值,實施不(bù)山會同的管理策略,用于管理數據在整個生命周期内的流動,根據價值适配存儲資(zī南區)源。日前,中國移動信息技術中心大(dà)數據平台部副總經理江勇在專訪時醫場(shí)表示,中國移動結合梧桐大(dà時拿)數據平台及應用情況,提出了按照數據域的劃分答舞來對數據實施分集群管理的策略,通(tōng)過科(外坐kē)學的管理維護數據全生命周期,深化運維體系改革,降低(dī)數據拿街運維成本,提高數據使用率,推進運維智能化轉型;在安全合規的前提下,強化數據賦計來能管理,推進數據資(zī)源依法向資(zī)産、資(zī可媽)本轉變。
建立數據全生命周期管理規範 實行分級存儲管理
中國移動在依法合規彙聚、融合全域數據的過程中,積累了越來越龐大(dà)年兵的數據,這是數字經濟時(shí)代的“新石油”。作為(wèi音工)數字中國、智慧社會(huì)建設的主力軍,如(rú)何更西和加科(kē)學有效地管理和使用數據,利用現有資(zī)源實現數子這據資(zī)産價值的最大(dà)化,賦能企業和社會(huì)數智化轉又房型,對于中國移動來說(shuō)是一個非車是常重要的課題。
數據全生命周期管理,是中國移動數據治理的核數人心領域之一。據悉,中國移動建立了一套完整的數據标準管理體系他為——數據全生命周期管理規範,該管理規範提出了數據全生制化命周期管理的中長(cháng)期規劃,通(呢低tōng)過對數據進行冷熱溫劃分,依托不(bù)同性能、不(bù)同成本的線錢存儲介質,結合東數西算戰略布局,來實現數據的分媽山類分級存儲管理。冷熱溫劃分的目的,在于控制成本,優化資(zī)源配置。冷熱溫的子議劃分依據主要是數據的訪問頻次,數據的熱度标簽之間可進行動态轉換。通(資慢tōng)常情況下,熱數據需要具備較好(hǎo)的硬件配話頻置,比如(rú)高性能CPU、SSD固态硬盤等;冷溫數據可采用中低(dī)成多東本、中性能的介質存儲,比如(rú)HDD機械硬盤、磁帶、光盤等能玩。
同時(shí),梧桐大(dà)數據平台依據現階段具備的技術條生少件,制定适配各集群的存儲周期管理方案,包括各集群的存儲周期管理矩陣、數據清理機匠跳制及清理策略、數據容災恢複機制、數據全生命周期流程管理等。此外,基于“喝工通(tōng)用+定制”原則,建立個性化存儲微計需求的評審管控機制,不(bù)适配實際生産的都體特殊數據可進行存儲周期的個性化定制,并對其成本和收益進行評估反饋,輔助管理者聽金進行評審管控以及後續全生命周期管理方案的叠代優化。
在數據的全生命周期管理過程中,不(bù)同階段的數據妹書,對于其查詢使用性能、存儲周期的要求不(bù)同。那的中麼,中國移動梧桐大(dà)數據平台如(rú)何對這些不(bù)同放森階段的數據進行管理?
據江勇介紹,梧桐大(dà)數據平台對依法合規彙聚的數據,打造了橫向分層+縱慢坐向分域的數據管理體系。
數據橫向分層,旨在實現清晰掌控數據結構及其流向,滿足不(bù)同場景的數據使用間這需求。數據分層架構的價值在于:一是各層級規範化、作用域明确,數據使用更輛黑易定位;二是複雜問題拆解為(wèi)多個步驟逐層加工(gōng),習上各層處理特定問題,簡化邏輯方便維護;三是分層數據血緣清晰,通(tōng)過上下道玩遊信息,快速準确定位問題并梳理影響範圍;四是數據逐層加工(gōng),麗老共有邏輯沉澱至中間層,減少重複計算和數據冗餘,降低(dī)企業的道離存儲和計算成本;五是分層實現業務邏輯拆解解耦,屏蔽上層應用對源業務變化的感知內車,降低(dī)依賴,提高數據的健壯性及叠代效率。
數據縱向分域,是站在業務系統、分析對象、部門等照明角度對數據進行細分、歸納,抽象出主題,企業最終圍繞主題域進行數據建設。
梧桐大(dà)數據平台的數據架構體系,自下能森而上是:基礎數據層、輕度彙總層、融合視圖層、業務應用層。
基礎數據層存儲清洗後的貼源數據,數據結構與源端系統基本保持一緻,數據顆粒度最來文細,信息量最大(dà),但數據處理成本高,也行數據應用使用效率低(dī)。
彙總層存儲分主題分維度的輕度聚合數據,以需求應紅村用為(wèi)建模驅動,做較細粒度的降維處理,數據存有一儲量相較基礎層有所降低(dī),數據使用效率提升,可靈去空活支撐運營分析場景。
融合視圖層存儲重度聚合的統一業務視圖數據習關,可跨域融合建設。
業務應用層存儲需求和應用所需的查詢展示數據,一般為看慢(wèi)報表指标級數據。
梧桐大(dà)數據平台的數據,在依法合規逐層加工(gōng)萃取內愛的過程中,資(zī)産價值度逐層遞增,存儲規模逐層可間遞減,存儲周期逐層擴展。
除了對各階段數據設定不(bù)同的存儲周期外,也會(huì)采取不(bù都制)同的管理手段。比如(rú):逐層加強對數據的監控自計稽核,提升數據質量;加大(dà)對高價值萃取後模型的依法去山合規開(kāi)放共享,提升數據複用度,助力數據資(zī)産價值轉化動暗;加強對底層數據的多維數據建設及治理,從源頭短習提升整體數據體系的質量及複用度。
BOMS域數據深度融合 打造縱深橫闊的數據資(zī)産刀家體系
梧桐大(dà)數據平台持續依法合規彙聚BOMS四劇下域數據,BOMS分别是運營商的業務域、網絡域、管理域、增值域。
中國移動打造建設了豐富的BOMS垂類模型體系,因各域數據特性及服務場景的不(b紅熱ù)同,模型的構建思路存在差異。
BMS三域模型,站在逐層加工(gōng)萃取的角度,構建的模型主要分舞到為(wèi)2類:
1.垂類主題模型:即按照主題或業務劃分,基于使用也通需求場景,逐層聚合彙總,形成特定主題或業務的數據模書醫型。
2.橫向融合模型:即融合同一主體在不(bù)同業務域的數據,依看風法打造全方位的主體畫(huà)像模型。
O域通(tōng)過解析沉澱豐富的維度标簽體系,比如(rú)行請劇業庫、關鍵詞庫、APP庫等,解析可擴增數據内容,拓寬服兒人務場景,提升數據服務能力。數據自下而上逐層彙聚收斂,O域模型主要包事生括2類:
1.行業模型:即對主體進行分行業分場景的行為(wèi)數據彙總。
2.大(dà)衆模型:即不(bù)分行業的群體上網行為(wèi)數據。
B域和O域模型的構建手段基本類似,其差異體現在劇少:
B域是基礎底座,其橫向豐富的業務數據可支撐各類場景外大,而O域數據在探索的精準性和縱深粒度上更有優勢。
O域相比B域,數據存儲體量較大(dà),在模型兒河的構建上降維粒度更大(dà)。
除具備豐富的BOMS垂類模型體系,中國移動也在建設跨域融合資(zī)産體系,通輛船(tōng)過各域的深度融合,構建産品等多維成本分析和價值民討評估模型,逐步打造縱深橫闊的高階數據資(z森票ī)産體系,在安全合規的前提下支撐服務各行業的數智劇西化轉型。
賦能企業數字化轉型 5G數據實踐應用成效顯了又著
随着新一代信息技術與制造業的深度融合發展,全球工(gōng)業數據應用已經妹信進入縱深發展的新階段,數據作為(wèi)新型生産要素和重要戰略小月資(zī)源,正在制造業數字化轉型過程中發揮出更大(dà)的作用。草房在這一進程中,工(gōng)業數據的依法流通(tōn說花g)共享受到廣泛關注。
CHBN四輪全向發力,融合融通(tōng)協同發關機展,因第五代移動通(tōng)信技術将實現産業互聯,5G數據呈爆發式增長(山玩cháng)和快節奏發展。中國移動重點推進5G數據在工(g行讀ōng)業互聯網、車(chē)聯網、智慧物都問流、智慧港口、智慧采礦、智慧電力、智慧油氣、智慧農業和智慧水城愛利等領域的深度應用,加快重點行業的數字化轉型進草草程。
在5G數據的全生命周期管理實踐中,通(tōng)過熱度算法(數據訪問頻次見微),實現了5G數據的冷熱溫分級管理。熱溫數據,加大(輛煙dà)對外開(kāi)放力度、加強質量監控、配備冗餘備災方案等手段,實內玩現資(zī)産價值最大(dà)化;冷數據,定期預警,開(kā機暗i)展系列數據治理舉措,促進數據從冷到溫熱狀态的良性轉化,并對低(dī計市)價值數據開(kāi)展清理工(gōng店嗎)作,提質降本兩手抓。
在5G數據持續彙聚、逐層萃取的過程中,持續推動高價值數據能力上智慧中台,依法司開合規面向全網開(kāi)放共享,賦能行業創新,推進大(dà)數據和各産業的紙女深度融合,加速數據要素價值轉化。截至今年7月,5G開術黃(kāi)放數據已累計訂購4398次,梧桐大件服(dà)數據為(wèi)688家(jiā)企業、高校(xiào)等單位提供是就了數據服務,數據實踐應用成效顯著。
數據安全貫穿數據全生命周期管理的全流程
大(dà)數據是“新基建”的核心和靈魂,數據濫用、數據盜竊、數據越權使用、數據你議洩露等數據安全問題都會(huì)影響到發展“新基建”的效果。那麼,數來高據安全管理該如(rú)何貫穿數據全生命周期管理過金煙程?
梧桐大(dà)數據平台嚴格落實“四法一條例理也”要求,打造了堅實的基礎安全能力,包括系統安全防護(對所有應用系統做相應的防一看火牆配置、漏洞掃描、滲透測試、代碼審計等系統防護措施)、4資生A管控(所有生産域和測試域的設備均需要納入4A歌下管控)、賬号口令及認證授權管理(重點防範弱口令、未授權訪問等)、金(jī西放n)庫管控(敏感操作觸發審批模式)、敏感數數快據防洩漏(DLP等設備)、日志管理與審核等。
梧桐大(dà)數據平台在安全合規的前提下拓展數據産品服務,堅持“三不(b近一ù)原則”(數據無授權不(bù)共享、原始數據不(bù)出系統、系統不車站(bù)出移動),将安全管理策略、制度、流程與安全管理日好技術同步推進,建立從數據收集、數據存儲、數據加工(g門熱ōng)、數據開(kāi)放共享、數據傳輸、數據得身應用、數據流通(tōng)、數據到期清理的全生命周關輛期的數據安全管理體系。
數據全生命周期管理的全流程,安全始終貫穿其中。梧桐大(dà)新少數據平台采取的安全管控手段如(rú)下:
數據收集階段:敏感數據識别審核管控 + 加密網絡通河劇(tōng)道收集。
數據存儲階段:保密協議簽訂+生産系統均4A接入+敏感數據加密存儲但大+數據備份恢複機制。
數據開(kāi)發及查詢階段:敏感數據加密存儲+敏感數據查快船詢金(jīn)庫觸發+實名制賬号水印标記+圖形堡壘嚴請車控數據下載+操作日志留存審計。
數據傳輸階段:嚴審網絡策略+文件及數據加密傳輸+對和内部加密網絡通(tōng)道+傳輸日志留存審計。河機
數據共享階段:敏感數據安全審核+4級敏感數據嚴控不(bù)開(kāi)放光亮。
梧桐大(dà)數據平台嚴格按照安全管理要求,對數據管理的各報知環節,接入日志并進行日志常規審計,确保各類行為(wèi)“可雨在溯”。
在數據全生命周期管理的過程中,梧桐大(dà)數據平台以數睡弟據可視化為(wèi)手段,推動技術、業務算樹和數據的融合,将已有的資(zī)産存儲量、資(zī)産分布、資(zī)明讀産萃取流向、無效數據清理成效、不(bù)同類數據的存儲策略分布等動态,用這費大(dà)屏進行集中可視展現,為(wèi)數據管理、林場風險防控、調度決策提供參考依據。
除此之外,在對外服務重點行業的過程中,中國移動打造了基于隐私計算技術的更安全的事森一站式對外生态平台,推進千行百業“用數賦智”。
隐私計算是面向隐私保護的計算系統和技術,涵蓋數據的産生、存儲、計算、應用、銷毀近就等信息全流程。中國移動自主設計的1+X架構的隐私計算平台北章,解決了異構平台間數據互通(tōng)的難題,大(dà)煙窗幅節省時(shí)間、人力及物理資(zī)源的成本,大(dà)量級數據交互筆師的計算效率相比同類型産品高出50%以上,處于行業領先水平。隐上刀私計算基于多方安全計算、聯邦學習等技術,實現章國了“原始數據可用不(bù)可見”、“無敏感數據流通(tōng)”、“數據不木兵(bù)落地”,滿足國家(jiā)數據安全保護法律法規的監管要求,因到東其具備多種MPC算子(zǐ)、機器(qì)學習算法,滿足風控、營銷、運場為營等多類細分場景與應用方向的需求。
綜上,梧桐大(dà)數據平台的數據全生命周期管理,嚴格遵循安見在全管理要求執行,有效保護信息安全的前提下,充分黃跳發揮數據資(zī)産價值。
肩負“鍊長(cháng)”責任 着力提升數據治理效能
前不(bù)久,中國移動在“2022科(kē)技周暨移動信息産業鍊農長創新大(dà)會(huì)”主論壇上首次提出要做船看通(tōng)信産業鍊的鍊長(cháng)。在江勇看來,“做通吧東(tōng)信産業鍊的鍊長(cháng)”是一種新的産業鍊治理機制聽答,中國移動需發揮協同和示範作用,在強大(dà)自身的同時(shí)都務,帶動産業鍊發展,牽引各企業“補短(duǎn)”你到、“鍛長(cháng)”,助力通(tōng)信産業生态愈加完善。
當前,數據作為(wèi)數字經濟時(shí)代的關海購鍵生産要素,在大(dà)數據技術叠代、數據融合、行業拓展等多方面子分不(bù)斷升級,數據要素的生産規模化、價值效能提升等需求激增。靜文同時(shí)多方參與、環節增加所帶來的長(cháng)流程,以及行業歌見應用對數據服務時(shí)效性要求的不(bù)斷放有提高,給數據治理工(gōng)作帶來了挑戰,例如(rú)可會多類業務數據管理複雜、數據不(bù)易精準定位等。
數據全生命周期管理是數據治理領域的核心模塊之一,結合内外部環境是音變化的生态形式,為(wèi)應對上述挑戰,江勇表示将從以下方面提高數據治理效做有能:
1. 建立健全線上數據全生命周期自動化配置議見、數據自動清理、容災備份機制及流程管理規範,推動大(dà電花)數據生産運維管理的線上化、自動化、智能化建設,不(bù)斷加強企業級數能他據管理能力。
2. 建立數據熱度分級管理标準,根據數據特性打造适配各域各類别的冷短志熱溫分級管理方案,包括配備不(bù)同存儲介質、分級設定他報存儲周期、不(bù)同副本存儲、配置不(bù)同壓縮鄉站格式等,實現冷熱分級降本提效。
3. 提前統籌規劃圍繞東數西算員路的戰略布局,優化數據中心建設布局,合理配置資(zī)源。開秒通(tōng)過建立東數西算的數據适配評估矩陣,對不(bù)同類别數據的睡內實時(shí)性要求、查詢性能、計算要求、業讀購務使用場景等進行多維分析,提前規劃适合西遷的數據,同時(sh事年í),依據算力類型,規劃不(bù)同的東數西算場景。通(t北房ōng)過東數西算戰略布局,全力推進新基建,助力數字經濟綠色蓬勃發展。
4. 中國移動以DCMM《數據管店關理能力成熟度評估模型》(Data Management Ca照拿pability Maturity Assessment Model)街鄉為(wèi)标準為(wèi)指導,持續構建全網大(師服dà)數據治理體系,以“構建管理制度,強化管理标準,優化管理流程,窗月提升開(kāi)放服務質量”為(wèi)目标,推進全網數據治理體問離系和治理能力的提升,促進中國移動大(dà)數據價分事值發揮,完善數據質量保障機制,确保數據全鍊路安全,推動數據資(zī)産可見呢暗可用易用好(hǎo)用,加速數智化轉型。日前,小也工(gōng)業和信息化部公示了2022年大(dà)計北數據産業發展試點示範項目的項目名單,中國移動申報的“構建以智能元數據為(做木wèi)引擎的數據治理平台”項目成功進入試點示範項坐煙目名單。同時(shí),中國移動作為(wèi)通(冷男tōng)信行業首家(jiā)集團單位,已取得(de)國家(jiā)标準DC動東MM量化管理級4級認證。現階段梧桐大(dà)數據平台已在全網數據照友統一資(zī)産目錄管理、數據全生命周期管理、數據質也都量管理、數據标準管理、數據安全管理、全網元數據納管等方面和鄉開(kāi)展全方位的數據治理工(gōng)作,并通(tōng)過建章立制、和自工(gōng)具适配打造、監管監控、實施執行與落地,不(bù)行少斷叠代完善治理體系。
5. 組織全網大(dà)數據全生命周期管理東事規範編制,邀請各單位專家(jiā)分享先進管理經驗,共同探筆物讨疑難雜症的解決方案,通(tōng)過協作共建,汲取先進師討經驗,打造标準化一體化的工(gōng)具,推動各單位數據從窗全生命周期管理能力拉齊,全網數據治理一盤棋,形成長(見遠cháng)效管理機制。
6. 長(cháng)期積累和總結中國移動數據全生命周期管理的經驗,那聽提煉對外輸出的治理能力,将其納入有中國移動大(dà)數據得多特色的方法論和咨詢産品目錄,以大(dà)數體道據管理咨詢服務的形式依法合規對外輸出,賦能行業數智化轉型。梧桐大(dà)數據關到平台現已在交通(tōng)運輸行業實現了數據管理賦南和能咨詢服務,成功為(wèi)企業打造适用企業特點的數據管理能力體系,賦能公明企業數智化發展。