中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

【成都網(wǎng)站設(shè)計(jì)】高性能集群計(jì)算(HPCC)能取代Hadoop嗎?

2022-07-04    分類: 網(wǎng)站建設(shè)

LexisNexis公司將發(fā)布一款開源的數(shù)據(jù)處理方案,LexisNexis公司宣稱其處理工作負(fù)載的能力要優(yōu)于Hadoop。該技術(shù)被稱為HPCC系統(tǒng),該系統(tǒng)在10年前幫助LexusNexis公司的Risk Solutions分析大量的客戶數(shù)據(jù)。并在金融業(yè)和其他重要的行業(yè)中應(yīng)用??磥鞨PCC(High-Performance Cluster Computing 高性能集群計(jì)算)似乎有能力成為替代Hadoop的解決方案

據(jù)LexisNexis Risk Solutions部門CTO Armando Escalante表示,LexisNexis公司決定發(fā)布HPCC系統(tǒng),目前的狀況是Hadoop技術(shù)已經(jīng)成為處理海量數(shù)據(jù)的選。Armando Escalante表示Hadoop雖然在海量數(shù)據(jù)處理方面走在前邊,但他認(rèn)為HPCC系統(tǒng)更為優(yōu)越。

但重要的是,Hadoop的開源模式吸引了大量相關(guān)人員對(duì)其進(jìn)行開發(fā)和創(chuàng)新。Armando Escalante解釋說,如果公司想要繼續(xù)保持HPCC的影響力就需要通過一個(gè)新社區(qū)提供應(yīng)用和好的創(chuàng)意。

Hadoop是許多年前由當(dāng)時(shí)的Yahoo員工Doug Cutting在Apache軟件基金會(huì)創(chuàng)建的項(xiàng)目。Hadoop現(xiàn)已成為網(wǎng)絡(luò)公司的重要工具。包括Yahoo、Facebook,并幫助他們處理不斷增長(zhǎng)的非結(jié)構(gòu)化數(shù)據(jù)。Hadoop催生了一批用于商業(yè)的基于分布式技術(shù)的產(chǎn)品,包括Cloudera,EMC和IBM等公司。

HPCC如何工作

Hadoop依靠?jī)蓚€(gè)核心組件來存儲(chǔ)和處理海量數(shù)據(jù)——Hadoop分布式文件系統(tǒng)和Hadoop Mapreduce。Cloudant公司CEO Mike Miller認(rèn)為MapReduce在編寫并行處理工作流時(shí)依然相對(duì)復(fù)雜,HPCC旨在通過ECL(Enterprise Control Language)改善這一局面。

Escalante表示ECL是一種聲明式并以數(shù)據(jù)為中心的語言,它剝離了大量MapReduce必要的工作。對(duì)于某些千行代碼的MapReduce任務(wù)ECL只需要99行。此外,他還表示ECL對(duì)集群中節(jié)點(diǎn)的數(shù)量沒有要求,系統(tǒng)會(huì)自動(dòng)將數(shù)據(jù)分布式的存放在當(dāng)前節(jié)點(diǎn)之中。從技術(shù)上講,HPCC還可以運(yùn)行在單一的虛擬機(jī)上。HPCC基于C++,如同Google最早的Mapreduce,這使得HPCC天生在效率上就優(yōu)于基于Java開發(fā)的Hadoop。

HPCC提供兩種數(shù)據(jù)處理和服務(wù)的方式——Thor Data Refinery Cluster和Roxy Rapid Data Delivery Cluster。Escalante表示如此命名是因?yàn)槠淠芟馮hor(北歐神話中司雷、戰(zhàn)爭(zhēng)及農(nóng)業(yè)的神)一樣解決困難的問題,Thor主要用來分析和索引大量的Hadoop數(shù)據(jù)。而Roxy則更像一個(gè)傳統(tǒng)的關(guān)系型數(shù)據(jù)庫或數(shù)據(jù)倉庫,甚至還可以處理Web前端的服務(wù)。

雖然沒有深入探討HPCC存儲(chǔ)組件的細(xì)節(jié),但Escalante表示HPCC基于分布式文件系統(tǒng),并可支持各種off-node存儲(chǔ)架構(gòu)和本地的SSD。

Escalante認(rèn)為為了確保LexisNexis產(chǎn)品質(zhì)量,應(yīng)采用“eating its own dogfood”(指軟件公司強(qiáng)調(diào)自己的軟件產(chǎn)品首先應(yīng)內(nèi)部使用,如果希望顧客購買公司的產(chǎn)品,公司內(nèi)部也應(yīng)該愿意使用它們)做法。HPCC開發(fā)團(tuán)隊(duì)還聘請(qǐng)了Hadoop專家?guī)椭鷻z驗(yàn)其產(chǎn)品是否有問題疏漏。HPCC還構(gòu)建了一個(gè)轉(zhuǎn)換器,用于遷移Hadoop Pig編寫的應(yīng)用并轉(zhuǎn)換為ECL。

HPCC具有競(jìng)爭(zhēng)力嗎?

一個(gè)關(guān)鍵的問題是HPCC是否能吸引到業(yè)界的構(gòu)建者和用戶,這將有助于提升其在海量數(shù)據(jù)領(lǐng)域的話語權(quán)。Escalante認(rèn)為HPCC能夠成功,因?yàn)镠PCC已經(jīng)證明了自己,它已處理LexisNexis Risk Solutions的35000個(gè)數(shù)據(jù)源。同時(shí)HPCC還可以每秒處理5000次的和支付客戶打交道的交易事物。

Hadoop已經(jīng)證明了自己,其潛在的巨大核心業(yè)務(wù)每天都在增長(zhǎng),現(xiàn)在企業(yè)和組織在海量數(shù)據(jù)上依托于Hadoop。但Hadoop并不滿足這些成就。這使得微軟也在海量數(shù)據(jù)的競(jìng)爭(zhēng)中推出了自己的分布式計(jì)算技術(shù)Dryad。(李智/譯)

原文鏈接:GIGAOM

成都網(wǎng)站設(shè)計(jì)公司 成都網(wǎng)站建設(shè)公司 成都網(wǎng)站制作公司 成都網(wǎng)站設(shè)計(jì) 成都網(wǎng)站建設(shè) 成都網(wǎng)站制作  成都精品網(wǎng)站制作 成都精典網(wǎng)站制作

網(wǎng)頁標(biāo)題:【成都網(wǎng)站設(shè)計(jì)】高性能集群計(jì)算(HPCC)能取代Hadoop嗎?
轉(zhuǎn)載源于:http://m.rwnh.cn/news37/174337.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供App開發(fā)企業(yè)網(wǎng)站制作、網(wǎng)站收錄、網(wǎng)站維護(hù)標(biāo)簽優(yōu)化、網(wǎng)站策劃

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

h5響應(yīng)式網(wǎng)站建設(shè)
广元市| 佳木斯市| 保山市| 扬中市| 南部县| 盐亭县| 斗六市| 石城县| 当涂县| 西平县| 江孜县| 咸丰县| 临湘市| 鄂伦春自治旗| 峨眉山市| 兰坪| 桃源县| 郎溪县| 铁岭县| 东城区| 彩票| 武定县| 巍山| 海伦市| 旌德县| 静宁县| 沙雅县| 贵州省| 五原县| 天镇县| 固镇县| 扶绥县| 沐川县| 白朗县| 丹江口市| 密云县| 瑞昌市| 大竹县| 鄢陵县| 新民市| 嘉黎县|