中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

聊聊大數(shù)據(jù)Lambda架構(gòu)

2021-02-04    分類: 網(wǎng)站建設(shè)

Lambda Architecture 概念

Mathan Marz的大作Big Data: Principles and best practices of scalable real-time data systems介紹了Lambda Architecture的概念,用于在大數(shù)據(jù)架構(gòu)中,如何讓real-time與batch job更好地結(jié)合起來(lái),以達(dá)成對(duì)大數(shù)據(jù)的實(shí)時(shí)處理。

聊聊大數(shù)據(jù)Lambda架構(gòu)

大數(shù)據(jù)平臺(tái)中包括批量計(jì)算的Batch Layer和實(shí)時(shí)計(jì)算的Speed Layer,通過(guò)在一套平臺(tái)中將批計(jì)算和流計(jì)算整合在一起。

例如使用Hadoop MapReduce、Spark進(jìn)行批量數(shù)據(jù)的處理,使用Apache Storm、Spark Streaming 進(jìn)行實(shí)時(shí)數(shù)據(jù)的處理。

這種架構(gòu)在一定程度上解決了不同計(jì)算類型的問(wèn)題,但是帶來(lái)的問(wèn)題是框架太多,會(huì)導(dǎo)致平臺(tái)復(fù)雜度過(guò)高、運(yùn)維成功高等。

Lambda架構(gòu)的主要思想就是將大數(shù)據(jù)系統(tǒng)構(gòu)建為多個(gè)層次,如下圖所示:

聊聊大數(shù)據(jù)Lambda架構(gòu)

我們來(lái)梳理一下他們是如何分工協(xié)助的:

  • 首先new data作為整個(gè)數(shù)據(jù)系統(tǒng)的數(shù)據(jù)源頭,Batch Layer作為數(shù)據(jù)的批處理層次對(duì)原始數(shù)據(jù)進(jìn)行加工與處理,并且將處理的數(shù)據(jù)結(jié)果的Batch View輸入到Serving Layer。(這里對(duì)應(yīng)的是全量數(shù)據(jù))
  • Speed Layer對(duì)于實(shí)時(shí)增加的數(shù)據(jù)進(jìn)行處理,生成對(duì)增量數(shù)據(jù)計(jì)算結(jié)果的Real-time View。(這里對(duì)應(yīng)的是增量數(shù)據(jù))
  • 最終用戶查詢是通過(guò)Batch View與Real-time View相結(jié)合的形式將最終結(jié)果呈現(xiàn)出來(lái)。

基于Lambda架構(gòu),一旦數(shù)據(jù)通過(guò)Batch layer進(jìn)入到Serving layer,在Real-time view中的相應(yīng)結(jié)果就不再需要了。

小 結(jié)

Lambda架構(gòu)結(jié)合了實(shí)時(shí)處理與批處理的結(jié)果,很好的反饋了查詢需求,并且在速度和可靠性之間求取了平衡,具有足夠的擴(kuò)展性。理想狀態(tài)下,所有的查詢都可以定位成一個(gè)函數(shù):

  1. Query?=?Function(Data)?

但是,若數(shù)據(jù)達(dá)到相當(dāng)大的一個(gè)級(jí)別(例如PB),且還需要支持實(shí)時(shí)查詢時(shí),就需要耗費(fèi)非常龐大的資源。

而Lambda架構(gòu)將數(shù)據(jù)和計(jì)算系統(tǒng)進(jìn)行細(xì)分:

  1. Query?=?Batch(Old_Data)?+?RealTime(New_Data)?

但是這種架構(gòu)同樣存在一些問(wèn)題:需要運(yùn)維兩套不同的計(jì)算系統(tǒng),并且合并查詢結(jié)果,這一定程序上帶來(lái)了復(fù)雜性的增加。

新聞標(biāo)題:聊聊大數(shù)據(jù)Lambda架構(gòu)
網(wǎng)站鏈接:http://m.rwnh.cn/news44/99044.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供關(guān)鍵詞優(yōu)化、響應(yīng)式網(wǎng)站、域名注冊(cè)定制開(kāi)發(fā)、App開(kāi)發(fā)、企業(yè)建站

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)

微信小程序開(kāi)發(fā)
梁山县| 岳普湖县| 安平县| 武乡县| 施甸县| 贺兰县| 峡江县| 泰州市| 通榆县| 巴林右旗| 丹寨县| 三门峡市| 桐柏县| 宜都市| 德清县| 怀来县| 兴安县| 晴隆县| 武冈市| 互助| 麦盖提县| 宜宾市| 惠安县| 出国| 昂仁县| 房山区| 分宜县| 梁山县| 都安| 金秀| 临城县| 浠水县| 伊吾县| 乌审旗| 上犹县| 黄山市| 贵定县| 灵璧县| 民乐县| 泗阳县| 东莞市|