中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

云計算成為數(shù)據(jù)倉庫的新重心

2022-10-06    分類: 網(wǎng)站建設(shè)

調(diào)研機(jī)構(gòu)IDG公司最近發(fā)布的一份調(diào)查報告表明,雖然組織的數(shù)據(jù)向云平臺的大規(guī)模遷移并不是從2020年開始的,但在這一年中得以快速發(fā)展。絕大多數(shù)組織計劃在2021年擴(kuò)大對云計算數(shù)據(jù)倉庫和數(shù)據(jù)湖的投資。然而,圍繞數(shù)據(jù)管理和ETL的許多問題仍然存在。

云計算成為數(shù)據(jù)倉庫的新重心

調(diào)查發(fā)現(xiàn),77%的IT決策者計劃在未來6到12個月內(nèi)遷移到云計算數(shù)據(jù)倉庫或擴(kuò)展現(xiàn)有的云計算數(shù)據(jù)倉庫。另有21%的IT決策者計劃在未來24個月擴(kuò)展其云數(shù)據(jù)倉庫。只有1%的IT決策者表示,他們沒有遷移或擴(kuò)展云數(shù)據(jù)倉庫的計劃。

這些調(diào)查數(shù)據(jù)非常突出,特別是考慮到IDG公司的調(diào)查參與者中只有38%(他們是商業(yè)智能、分析或數(shù)據(jù)科學(xué)領(lǐng)域的主管和更高級別的決策者)擁有云計算數(shù)據(jù)倉庫。調(diào)查發(fā)現(xiàn),30%的組織正在運(yùn)行內(nèi)部部署的數(shù)據(jù)倉庫,而23%的組織使用非云數(shù)據(jù)倉庫。

顯然,在2021年的數(shù)據(jù)分析計劃中,云計算對各種規(guī)模的組織都有重要影響。例如Snowflake、AWS、Microsoft Azure、Google Cloud和Databrickss提供的云計算數(shù)據(jù)倉庫正在搶占市場份額。除了這些頂級的云計算數(shù)據(jù)倉庫供應(yīng)商之外,大多數(shù)為內(nèi)部部署開發(fā)數(shù)據(jù)倉庫的供應(yīng)商在這一方面也提供了類似的產(chǎn)品。

根據(jù)ETL供應(yīng)商Matillion公司委托IDG公司進(jìn)行的調(diào)查,盡管云計算數(shù)據(jù)倉庫顯然正在快速增長,但不到一半的用戶計劃使用云計算數(shù)據(jù)倉庫。

IDG調(diào)查表明云數(shù)據(jù)倉庫部署正在增長

調(diào)查表明,57%的組織將采用內(nèi)部部署和云計算數(shù)據(jù)倉庫相結(jié)合的數(shù)據(jù)管理策略,22%的組織采用多云數(shù)據(jù)倉庫的策略。在采用云數(shù)據(jù)倉庫策略的公司中,只有21%的組織使用單一的云平臺。

這項調(diào)查在數(shù)據(jù)湖方面也有類似的故事,數(shù)據(jù)湖是一個無限可擴(kuò)展且價格低廉的數(shù)據(jù)存儲,在過去十年中已經(jīng)接替了Hadoop的職責(zé)。IDG公司的調(diào)查發(fā)現(xiàn),雖然目前只有16%的組織正在使用數(shù)據(jù)湖,但高達(dá)56%的組織表示在將來使用數(shù)據(jù)湖,而另外26%的組織正在考慮使用數(shù)據(jù)湖。只有2%的組織表示并未考慮使用數(shù)據(jù)湖。

盡管很多組織正在將大量數(shù)據(jù)遷移到各種云存儲庫,但不應(yīng)將云計算技術(shù)視為應(yīng)對所有數(shù)據(jù)管理挑戰(zhàn)的靈丹妙藥。IDG公司的調(diào)查報告顯示,數(shù)據(jù)分析從業(yè)者需要一周的時間才能得到一個給定的數(shù)據(jù)集來進(jìn)行分析。總的來說,準(zhǔn)備和匯總數(shù)據(jù)進(jìn)行分析需要花費(fèi)將近一半的時間(45%),另外30%的時間用于探索和訓(xùn)練大型模型。只有25%的時間用于處理部署到生產(chǎn)中的模型。

Matillion公司產(chǎn)品總監(jiān)David Langton對原有分析陷阱正在增長并不感到驚訝。他說:“有很多原因使這種問題難以解決。首先也是最重要的一點(diǎn)是,組織所能生成的最有趣的分析和報告并不是來自單一的數(shù)據(jù)源,必須結(jié)合起來。”

他表示,云計算數(shù)據(jù)倉庫是將有趣的數(shù)據(jù)組合在一起,從而為用戶帶來有利可圖的見解。他說,一些客戶具有在內(nèi)部部署設(shè)施進(jìn)行這一操作的經(jīng)驗,并且只是在利用云計算數(shù)據(jù)倉庫提供的規(guī)模,而其他一些客戶現(xiàn)在才開始參與其中。

Langton說,“我們過去經(jīng)常在內(nèi)部部署設(shè)施做所有這類事情。我們現(xiàn)在正在重新構(gòu)想、重新配置工具,并將大量數(shù)據(jù)移動到云平臺中。有一些客戶對需要達(dá)到什么目標(biāo),進(jìn)行現(xiàn)代化改造并以新的方式來做到這一點(diǎn)很了解。但也有很多新客戶從未做過。”

他表示,客戶選擇在ETL/ELT工具上進(jìn)行大量選擇,以選擇在云存儲庫中移動和轉(zhuǎn)換其數(shù)據(jù)。他注意到最近出現(xiàn)的一個趨勢,即供應(yīng)商將主要專注于提取和加載,而將轉(zhuǎn)換留給數(shù)據(jù)倉庫供應(yīng)商。一些ETL/ELT供應(yīng)商也支持轉(zhuǎn)換,但僅提供通用轉(zhuǎn)換。

在Matillion公司的案例中,該公司旨在提供功能齊全的ETL工具,該工具不僅可以提取和加載數(shù)據(jù),而且還支持針對各種不同的內(nèi)部部署和云計算數(shù)據(jù)倉庫系統(tǒng)的數(shù)據(jù)庫內(nèi)轉(zhuǎn)換。他表示,即保持靈活性使其能夠跨多個數(shù)據(jù)目的使用許多不同的數(shù)據(jù)類型,是Matillion公司提供的產(chǎn)品的重要價值。

Langton說,“對我們來說,這是一個與眾不同的地方。許多ETL工具提供商都表示,具有一個讀取數(shù)據(jù)和寫入數(shù)據(jù)的標(biāo)準(zhǔn)適配器,并且中間是我們的轉(zhuǎn)換邏輯,因此獲得的好處是只需要編寫一次轉(zhuǎn)換邏輯。我們?yōu)橹С值拿總€目標(biāo)系統(tǒng)編寫轉(zhuǎn)換邏輯,以對其進(jìn)行優(yōu)化。因此,我們將在Snowflake上以選方式進(jìn)行操作,或者在Redshift上以選方式進(jìn)行操作,而不是將它們?nèi)恳暈楹诤?,并且它們的工作原理都是相同的?rdquo;

由于采取許多不同的方法,因此靈活性很重要。一些數(shù)據(jù)倉庫使用一種讀模式方法(Hadoop就是這樣設(shè)計的),而另一些則在數(shù)據(jù)寫入數(shù)據(jù)庫時強(qiáng)制使用一種模式。事實上,許多云計算數(shù)據(jù)倉庫都配備了查詢處理功能,允許它們查詢駐留在云計算數(shù)據(jù)湖中的數(shù)據(jù),這也加劇了混淆。支持JSON數(shù)據(jù)類型的各種方法也是如此,在使用SQL語言查詢JSON數(shù)據(jù)類型之前,通常必須將其扁平化。

總體而言,云計算分析中的工具和技術(shù)已經(jīng)得到了極大的改進(jìn),隨著客戶發(fā)現(xiàn)適合他們的方法,這推動了實驗的發(fā)展。Langton表示,在中間使用ETL/ELT工具定義數(shù)據(jù)的客戶具有一個優(yōu)勢,即可以輕松地更換數(shù)據(jù)倉庫。

他說:“我們越來越多地看到人們在成為客戶后遷移和嘗試不同的數(shù)據(jù)倉庫,并希望嘗試采用另一個數(shù)據(jù)倉庫。顯然,我們有辦法幫助遷移。但這確實表明組織已經(jīng)全力以赴,在這些決策上進(jìn)行了很大的投入,希望在幾年之內(nèi)可以更新并嘗試新的解決方案。”

網(wǎng)頁名稱:云計算成為數(shù)據(jù)倉庫的新重心
網(wǎng)頁路徑:http://m.rwnh.cn/news12/202512.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供面包屑導(dǎo)航、移動網(wǎng)站建設(shè)Google、用戶體驗、網(wǎng)站營銷、服務(wù)器托管

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

外貿(mào)網(wǎng)站制作
苍山县| 弥勒县| 兴国县| 安平县| 抚宁县| 尉氏县| 织金县| 廊坊市| 专栏| 盱眙县| 那曲县| 纳雍县| 贡嘎县| 云浮市| 涞水县| 于都县| 什邡市| 新晃| 溧阳市| 麻阳| 安塞县| 盘山县| 图木舒克市| 凭祥市| 乌兰察布市| 杭锦旗| 报价| 苍溪县| 阜城县| 胶州市| 福鼎市| 清涧县| 林西县| 云浮市| 喀喇沁旗| 尚志市| 洪雅县| 九江县| 烟台市| 荆州市| 新化县|