Gartner發(fā)布2019年十大數(shù)據(jù)與分析技術(shù)趨勢

　　今年，我們將看到更多公司和企業(yè)開始結(jié)合各種新興信息技術(shù)，如AI、區(qū)塊鏈等技術(shù)趨勢。當(dāng)越來越多的創(chuàng)新公司這樣做時，就將經(jīng)歷格式塔轉(zhuǎn)變并從不同的角度看待他們的公司。那些成功遵循這條道路的組織將轉(zhuǎn)變?yōu)閿?shù)據(jù)組織。Gartner建議數(shù)據(jù)和分析領(lǐng)導(dǎo)者與高級業(yè)務(wù)負(fù)責(zé)人討論他們的關(guān)鍵業(yè)務(wù)優(yōu)先級，并探索如何針對以下10個主要趨勢去實現(xiàn)這些優(yōu)先級策略布局。

　　增強分析

　　數(shù)據(jù)分析的下一階段是數(shù)據(jù)增強分析，為分析計劃帶來自動化和新的程度的洞察力。

　　數(shù)據(jù)分析的下一階段的根本性轉(zhuǎn)變已經(jīng)開始了。就像第二波自助商業(yè)智能破壞了第一波傳統(tǒng)商務(wù)智能，第三波增強分析技術(shù)將再次改變游戲規(guī)則。早期采用增強分析技術(shù)的用戶，以前所未有的速度洞察力和增強的競爭優(yōu)勢。

　　增強的分析應(yīng)用程序通過無偏差的正確準(zhǔn)備的數(shù)據(jù)在右手中提供了驚人的結(jié)果。 由于自動化分析依賴于統(tǒng)計技術(shù)，因此不足以代表業(yè)務(wù)流程的不準(zhǔn)確，有偏差或質(zhì)量差的數(shù)據(jù)將提供低質(zhì)量的結(jié)果。

　　增強數(shù)據(jù)管理

　　隨著以云計算，大數(shù)據(jù)，移動和社交為主要特征的第三平臺的發(fā)展，數(shù)據(jù)正在變成企業(yè)的核心驅(qū)動力，企業(yè)對于數(shù)據(jù)的使用成為其競爭力的核心組成部分。所以企業(yè)中產(chǎn)生了越來越多生產(chǎn)數(shù)據(jù)的拷貝用于備份/恢復(fù)，開發(fā)測試，統(tǒng)計分析，準(zhǔn)業(yè)務(wù)平臺搭建，數(shù)據(jù)恢復(fù)有效性驗證等目的。

　　在當(dāng)前產(chǎn)業(yè)環(huán)境下，大量行業(yè)用戶都已將核心業(yè)務(wù)遷移到自動化系統(tǒng)，自動化系統(tǒng)的運行往往需要在業(yè)務(wù)系統(tǒng)中抽取數(shù)據(jù)，這勢必會耗費業(yè)務(wù)系統(tǒng)的資源，對業(yè)務(wù)系統(tǒng)的效率、穩(wěn)定性造成極大影響。而增強數(shù)據(jù)管理通過對數(shù)據(jù)管理流程的重塑，實現(xiàn)了簡化數(shù)據(jù)使用、節(jié)約存儲空間、增強數(shù)據(jù)管理這幾大目標(biāo)，在降低對業(yè)務(wù)系統(tǒng)壓力的同時，實現(xiàn)更敏捷的數(shù)據(jù)使用。

　　持續(xù)智能

　　來自所有數(shù)據(jù)的持續(xù)智能不是描述實時，速度或吞吐量的另一個短語。它是關(guān)于從所有數(shù)據(jù)中獲得連續(xù)業(yè)務(wù)價值的無摩擦循環(huán)時間。它是一種現(xiàn)代機器驅(qū)動的分析方法，無論有多少數(shù)據(jù)源或數(shù)量多大，您都可以快速獲取所有數(shù)據(jù)并加速所需的分析。 它不是一次這樣做，而是讓機器自動化，因此它是連續(xù)的，無摩擦的。

　　通過使用各種技巧和工具，有很多方法可以快速進(jìn)行分析。但是，如果它引導(dǎo)您進(jìn)入一個新的思維鏈，需要一直回到加載更多數(shù)據(jù)，建模，集成它并在每次業(yè)務(wù)出現(xiàn)新問題時調(diào)整儀表板。

　　現(xiàn)在，人工智能驅(qū)動的分析已經(jīng)通過應(yīng)用當(dāng)今數(shù)據(jù)處理平臺的巨大力量來自動解釋和協(xié)調(diào)來自不同來源的數(shù)據(jù)?，F(xiàn)在，任何人都可以將AI驅(qū)動的分析系統(tǒng)指向復(fù)雜的數(shù)據(jù)源進(jìn)行推斷和協(xié)調(diào)，系統(tǒng)可以完成工作并立即向業(yè)務(wù)發(fā)送持續(xù)的視覺洞察。業(yè)務(wù)決策的數(shù)據(jù)變得持續(xù)。

　　可解釋的AI

　　人工智能出現(xiàn)以后，似乎正在逐步滲透到我們生活中的每個角落，其中不乏它為我們做出了一些非常重要的決定，比如，身體里的腫瘤是不是已經(jīng)發(fā)生癌變;是否應(yīng)該同意或拒絕保險索賠;旅客是不是應(yīng)該被批準(zhǔn)通過機場安檢，甚至是否授權(quán)導(dǎo)彈發(fā)射以及是否批準(zhǔn)自動駕駛汽車的制動，等等。

　　最重要的是，這顯然意味著應(yīng)該提供關(guān)于如何獲得模型的響應(yīng)的見解。直接的后果是，由于易于解釋，將可能方法的范圍縮小到最簡單的方法，除非我們找到方法將上下文添加到最先進(jìn)算法的預(yù)測中。更何況，這種趨勢更多是因為監(jiān)管約束的強化而不是緩慢的。

　　圖形分析

　　圖形分析是一個快速發(fā)展的研究領(lǐng)域，其中圖形理論，統(tǒng)計和數(shù)據(jù)庫技術(shù)的組合應(yīng)用于圖形結(jié)構(gòu)數(shù)據(jù)的建模，存儲，檢索和性能分析。這些技術(shù)使研究人員能夠理解網(wǎng)絡(luò)的結(jié)構(gòu)及其在不同條件下的變化，找到滿足不同約束的實體對之間的路徑，識別圖中的簇或緊密交互的子組，或查找與給定模式類似的子圖。

　　對于這些和許多其他任務(wù)，重要的是將一個數(shù)據(jù)視為表示對象和表示它們之間關(guān)系的對象和邊的節(jié)點或頂點的圖(網(wǎng)絡(luò))。對于諸如傳感器網(wǎng)絡(luò)的許多應(yīng)用領(lǐng)域，圖形可能很大并且具有十億個節(jié)點和邊緣。

　　可以基于邊緣是否具有取向來定向或不定向圖形。如果每對頂點通過路徑連接，則連接無向圖。具有與每個邊相關(guān)聯(lián)的權(quán)重的圖被稱為加權(quán)圖。用于網(wǎng)絡(luò)分析，基因組學(xué)，社交網(wǎng)絡(luò)分析和其他領(lǐng)域的大規(guī)模圖形處理的計算要求需要強大且高效的計算性能，只有加速器才能提供。

　　數(shù)據(jù)結(jié)構(gòu)/數(shù)據(jù)網(wǎng)格

　　數(shù)據(jù)網(wǎng)格是一種架構(gòu)和一系列數(shù)據(jù)服務(wù)，可以為內(nèi)部環(huán)境和多云環(huán)境中的多種端點提供一致統(tǒng)一的功能。它可簡化并集成云端和內(nèi)部環(huán)境的數(shù)據(jù)管理，有助于加快數(shù)字化轉(zhuǎn)型的步伐。它提供一致統(tǒng)一的集成混合云數(shù)據(jù)服務(wù)，用于改善數(shù)據(jù)可見性和洞察力、據(jù)訪問和控制，以及數(shù)據(jù)保護(hù)和安全。

　　面對巨大的壓力，IT 主管們迫切需要在有限的時間內(nèi)，運用有限的技能和預(yù)算駕馭當(dāng)今的海量數(shù)據(jù)，并利用這些數(shù)據(jù)為整個企業(yè)創(chuàng)造新的價值。 與此同時，數(shù)據(jù)不再是隱藏在防火墻之后的加密設(shè)備上，而是越來越呈現(xiàn)分布式、動態(tài)性和多樣化的特點，而且數(shù)據(jù)量驚人，管理起來極為困難。

　　數(shù)據(jù)網(wǎng)格最終幫助企業(yè)釋放數(shù)據(jù)潛能，滿足業(yè)務(wù)需求并贏得競爭優(yōu)勢。 它可以幫助 IT 部門更充分地發(fā)揮混合云的無限潛能，構(gòu)建下一代數(shù)據(jù)中心并通過數(shù)據(jù)管理打造現(xiàn)代化的存儲。

　　NLP/會話分析

　　NLP是計算機以一種聰明而有用的方式分析，理解和從人類語言中獲取意義的一種方式。通過利用NLP，開發(fā)者可以組織和構(gòu)建知識來執(zhí)行自動摘要，翻譯，命名實體識別，關(guān)系提取，情感分析，語音識別和話題分割等任務(wù)。

　　目前NLP的方法是基于深度學(xué)習(xí)，這是一種AI，它檢查和使用數(shù)據(jù)中的模式來改善程序的理解。深度學(xué)習(xí)模型需要大量的標(biāo)記數(shù)據(jù)來訓(xùn)練和識別相關(guān)的相關(guān)性，匯集這種大數(shù)據(jù)集是當(dāng)前NLP的主要障礙之一。

　　NLP算法通?；跈C器學(xué)習(xí)算法。NLP可以依靠機器學(xué)習(xí)來自動學(xué)習(xí)這些規(guī)則，而不是手工編碼大量的規(guī)則集，通過分析一系列的例子(如，一個大的數(shù)據(jù)庫，像一本書，直到一堆句子的集合)，并且做一個靜態(tài)的推論。一般來說，分析的數(shù)據(jù)越多，模型越精確。社交媒體分析是NLP使用的一個很好的例子。品牌在線跟蹤對話以了解客戶的意見，并洞悉用戶行為。

　　區(qū)塊鏈

　　區(qū)塊鏈與往年的不同之處在于，2019年我們將看到第一批真正的企業(yè)應(yīng)用程序正在使用中。不是在談?wù)撻_發(fā)分散式應(yīng)用程序的各種區(qū)塊鏈初創(chuàng)公司，也不是在談?wù)摳拍钭C明。在2019年，將看到大公司使用區(qū)塊鏈來改善行業(yè)協(xié)作。

　　區(qū)塊鏈的用戶數(shù)據(jù)隱私保護(hù)是一個新方向，接下來預(yù)計會看到越來越多的創(chuàng)業(yè)者和密碼學(xué)專家加入了這個行業(yè)，投入大量資源進(jìn)行研究?，F(xiàn)在這個方向已經(jīng)非常明確，通過加密算法保護(hù)用戶隱私數(shù)據(jù)，通過區(qū)塊鏈激勵機制在機構(gòu)和用戶之間分配價值，這是區(qū)塊鏈的優(yōu)勢所在。

　　商業(yè)AI和ML

　　商業(yè)供應(yīng)商現(xiàn)在已經(jīng)在開源生態(tài)系統(tǒng)中構(gòu)建了連接器，它們提供了擴展AI和ML所需的企業(yè)功能，例如項目和模型管理、循環(huán)利用、透明度提升，為數(shù)據(jù)以及開源技術(shù)缺乏的平臺提供凝聚力和集成。

　　到2022年，75%利用AI和ML技術(shù)的新終端用戶解決方案將采用商業(yè)解決方案而非開源平臺構(gòu)建。

　　持久性內(nèi)存服務(wù)器

　　持久性內(nèi)存非常適合需要頻繁訪問大型復(fù)雜數(shù)據(jù)集的環(huán)境。持久存儲器是內(nèi)存/存儲層次結(jié)構(gòu)的新增功能，可彌補DRAM和存儲之間的差距，通過提供更靠近處理器的非易失性，低延遲存儲器，實現(xiàn)更大的數(shù)據(jù)管理靈活性。因為它駐留在DRAM總線上，所以持久存儲器可以提供對關(guān)鍵數(shù)據(jù)的超快速DRAM訪問。將傳統(tǒng)存儲的數(shù)據(jù)可靠性與超低延遲和高帶寬相結(jié)合，使設(shè)計人員能夠以全新的方式優(yōu)化系統(tǒng)并管理數(shù)據(jù)。

　　持久性內(nèi)存非常適合需要頻繁訪問大型復(fù)雜數(shù)據(jù)集的環(huán)境，以及對因電源故障或系統(tǒng)崩潰導(dǎo)致的停機時間敏感的環(huán)境。應(yīng)用程序包括大數(shù)據(jù)分析，存儲設(shè)備，RAID緩存，內(nèi)存數(shù)據(jù)庫，存儲索引的元數(shù)據(jù)服務(wù)器以及在線事務(wù)處理。

　　隨著我們進(jìn)入到未來，存儲數(shù)據(jù)這個基本概念將從鐵磁材料顆粒翻轉(zhuǎn)極性變成可直接尋址的異常小的硅片層，可以快速操作和讀取。由于硬件在變化，我們使用硬件的方式也應(yīng)該隨之變化。

　　結(jié)尾

　　2019年將成為真理年。不僅從區(qū)塊鏈的角度來看，它為行業(yè)合作伙伴提供了單一版本的事實，而且還提供了物聯(lián)網(wǎng)安全性以及政府和商業(yè)組織之間激烈的軍備競賽?？偠灾?，當(dāng)我們?yōu)橐詳?shù)據(jù)為中心的第三個十年做準(zhǔn)備時，這將是一個非常激動人心的一年。

　　今天的大數(shù)據(jù)分析市場與幾年前的市場截然不同，正是由于海量數(shù)據(jù)的暴增，未來十年，全球各行各業(yè)都將發(fā)生變革、創(chuàng)新和顛覆。