上訊敏捷數(shù)據(jù)管理平臺(tái)主要通過數(shù)據(jù)副本管理的自主研發(fā)技術(shù)——數(shù)據(jù)庫虛擬化技術(shù),對源數(shù)據(jù)進(jìn)行原格式獲取生成黃金副本,存儲(chǔ)黃金副本作為基準(zhǔn)數(shù)據(jù),并虛擬化為多個(gè)副本掛載恢復(fù),達(dá)到快速交付副本數(shù)據(jù)、靈活管理副本數(shù)據(jù)版本、集中管理副本數(shù)據(jù)存儲(chǔ)與流轉(zhuǎn)的目標(biāo),上訊敏捷數(shù)據(jù)管理平臺(tái)是主要面向企業(yè)數(shù)據(jù)運(yùn)維、軟件開發(fā)測試部門解決自動(dòng)化閉環(huán)取數(shù)供數(shù)、測試數(shù)據(jù)快速交付等典型應(yīng)用場景的產(chǎn)品。主要的應(yīng)用場景在于金融行業(yè)開發(fā)測試環(huán)境測試數(shù)據(jù)的敏捷供應(yīng),在取數(shù)供數(shù)方面可以有效彌補(bǔ)Devops業(yè)務(wù)敏捷化之后數(shù)據(jù)供應(yīng)慢的短板,幫助測試數(shù)據(jù)快速、高效地更新,以適應(yīng)不斷更新的測試版本。上訊敏捷數(shù)據(jù)管理平臺(tái)虛擬數(shù)據(jù)秒級(jí)分發(fā),提升了環(huán)境準(zhǔn)備效率,數(shù)據(jù)交付時(shí)間整體節(jié)約100倍以上。邏輯存儲(chǔ)
數(shù)據(jù)備份恢復(fù)當(dāng)前面臨的問題與挑戰(zhàn):
(1)國產(chǎn)化數(shù)據(jù)備份系統(tǒng)兼容性不足當(dāng)前國產(chǎn)化數(shù)據(jù)保護(hù)系統(tǒng)對國產(chǎn)化數(shù)據(jù)庫、文件、虛擬化平臺(tái)、容器、云服務(wù)器等備份源類型兼容未全部覆蓋,適配過程中需要更多的時(shí)間進(jìn)行功能穩(wěn)定性驗(yàn)證。
(2)數(shù)據(jù)備份恢復(fù)驗(yàn)證耗時(shí)耗力當(dāng)前采用NetBackup等集中備份系統(tǒng)備份的數(shù)據(jù)需采用手動(dòng)恢復(fù)數(shù)據(jù),過程繁瑣、重復(fù)度高、專業(yè)性強(qiáng),耗費(fèi)大量的時(shí)間和人力成本。
(3)數(shù)據(jù)交付時(shí)間長不論是通過數(shù)據(jù)恢復(fù)還是數(shù)據(jù)拷貝來提供測試數(shù)據(jù),需要幾小時(shí)到幾周的時(shí)間。 數(shù)據(jù)文件格式數(shù)據(jù)管理領(lǐng)域的CDM是指copy data management。
上訊敏捷數(shù)據(jù)管理平臺(tái)ADM采用數(shù)據(jù)庫虛擬化技術(shù)解決了交付業(yè)務(wù)數(shù)據(jù)的速度和頻率問題,數(shù)據(jù)的快速和多次提供必然導(dǎo)致數(shù)據(jù)存儲(chǔ)資源的大量占用,因此數(shù)據(jù)庫虛擬化底層必須采用一種節(jié)約存儲(chǔ)的方式來緩解存儲(chǔ)容量的壓力。存儲(chǔ)虛擬化技術(shù)能夠完全滿足這一需求,創(chuàng)建的虛擬數(shù)據(jù)庫實(shí)例與原始數(shù)據(jù)庫保持?jǐn)?shù)據(jù)的一致性和完整性,不占用存儲(chǔ)空間,在初始的虛擬數(shù)據(jù)庫實(shí)例中進(jìn)行增刪改查的操作后,才會(huì)產(chǎn)生極少的存儲(chǔ)空間占用,這部分空間相比于原始數(shù)據(jù)庫總?cè)萘?,幾乎接近?。
上訊敏捷數(shù)據(jù)隱私安全處理系統(tǒng)具備廣義的通用型規(guī)則,包括字符替換、隨機(jī)生成、截短、加權(quán)生成、加密等;支持保留原有數(shù)據(jù)含義的仿真型規(guī)則,支持中文字典庫與編碼字典庫,保證姓名、身份證號(hào)、證件號(hào)、地址、組織機(jī)構(gòu)代碼等處理后數(shù)據(jù)的有效性、可用性。提供基于數(shù)據(jù)庫的庫內(nèi)處理和基于ETL的抽取處理,提供文件添加水印功能,提供國產(chǎn)化操作系統(tǒng)的加密算法,滿足大數(shù)據(jù)量隱私處理任務(wù)執(zhí)行時(shí)的頁面響應(yīng)速度,適用于多樣化的數(shù)據(jù)安全處理需求。敏捷數(shù)據(jù)管理平臺(tái)支持多線程文件備份,支持海量小文件場景下的聚合策略進(jìn)行文件備份。
上訊敏捷數(shù)據(jù)管理平臺(tái)產(chǎn)品為非生產(chǎn)環(huán)境中的數(shù)據(jù)使用提供了安全性保障。ADM內(nèi)置了雙重敏感數(shù)據(jù)處理模式,一是通過基于虛擬數(shù)據(jù)庫的方式,實(shí)現(xiàn)在閉環(huán)供數(shù)流程中完成敏感數(shù)據(jù)的替換;二是數(shù)據(jù)抽取方式,支持從多種數(shù)據(jù)源中靈活抽取并進(jìn)行變形處理。此外,ADM能夠自動(dòng)發(fā)現(xiàn)敏感數(shù)據(jù),智能定義敏感數(shù)據(jù)類型,并定位敏感數(shù)據(jù)源位置。結(jié)合豐富的算法和仿真字典庫,ADM不僅確保變形后的數(shù)據(jù)保持業(yè)務(wù)屬性,還保持了數(shù)據(jù)表間關(guān)系的業(yè)務(wù)一致性。為了集中管理數(shù)據(jù)使用流程,ADM跟蹤數(shù)據(jù)流向,識(shí)別虛擬數(shù)據(jù)庫的使用狀態(tài),實(shí)時(shí)拍攝快照,保留數(shù)據(jù)版本,實(shí)現(xiàn)了測試數(shù)據(jù)版本的快速回退,從而有助于對數(shù)據(jù)版本進(jìn)行有效管理。多功能相結(jié)合確保非生產(chǎn)環(huán)境數(shù)據(jù)的安全使用,同時(shí)滿足企業(yè)對于數(shù)據(jù)安全性和合規(guī)性的需求。做CDM產(chǎn)品的哪個(gè)廠商做得好?數(shù)據(jù)庫虛擬化技術(shù)
敏捷數(shù)據(jù)管理平臺(tái)可對文件備份提供文件粒度與塊級(jí)粒度的全域重刪。邏輯存儲(chǔ)
為保證企業(yè)數(shù)據(jù)隱私安全,較為常見的數(shù)據(jù)安全產(chǎn)品是數(shù)據(jù)庫靜態(tài)***產(chǎn)品,數(shù)據(jù)庫靜態(tài)***是指對數(shù)據(jù)進(jìn)行屏蔽和***的產(chǎn)品,采用專門的***算法對敏感數(shù)據(jù)進(jìn)行變形、屏蔽、替換、隨機(jī)化、模糊化,將敏感數(shù)據(jù)處理為非敏感或仿真的數(shù)據(jù),隱藏掉真正的隱私信息,失去竊取后的數(shù)據(jù)價(jià)值,同時(shí)在***前后要保證***數(shù)據(jù)之間的關(guān)聯(lián)性,為數(shù)據(jù)的后續(xù)使用提供便利,因此靜態(tài)數(shù)據(jù)脫敏不僅可以協(xié)助企業(yè)實(shí)現(xiàn)數(shù)據(jù)資源合理合法的開發(fā)使用,也符合《數(shù)據(jù)安全法》中注重?cái)?shù)據(jù)安全與發(fā)展并重的數(shù)據(jù)安全觀。邏輯存儲(chǔ)