我們使用Elasticsearch存儲的文檔數(shù)量接近50億(算上1份復(fù)制,接近100億文檔),總共10個數(shù)據(jù)節(jié)點和2個元數(shù)據(jù)節(jié)點(48GB內(nèi)存,8核心CPU,ES使用內(nèi)存達到70%),每天的文檔增量大概是3000W條(速度持續(xù)增加中)。目前來看,單個文檔的查詢效率基本處于實時狀態(tài);對于1到2周的數(shù)據(jù)的聚合統(tǒng)計操作也可以在10秒之內(nèi)返回結(jié)果。
10年積累的成都網(wǎng)站設(shè)計、網(wǎng)站制作經(jīng)驗,可以快速應(yīng)對客戶對網(wǎng)站的新想法和需求。提供各種問題對應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識你,你也不認(rèn)識我。但先網(wǎng)站設(shè)計后付款的網(wǎng)站建設(shè)流程,更有郫都免費網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。
但是,還有提升的空間:
1. 對于查詢單條數(shù)據(jù)的應(yīng)用場景來說,我們可以使用ES的路由機制,將同一索引內(nèi)的具有相同特征(比如具有相同的userid)的文檔全部存儲于一個節(jié)點上,這樣我們之后的查詢都可以直接定位到這個節(jié)點上,而不用將查詢廣播道所有的節(jié)點上;
2. 隨著數(shù)據(jù)節(jié)點的增加,適當(dāng)增加分片數(shù)量,提升系統(tǒng)的分布水平,也可以通過分而治之的方式優(yōu)化查詢性能;
個人以為Elasticsearch作為內(nèi)部存儲來說還是不錯的,效率也基本能夠滿足,在某些方面替代傳統(tǒng)DB也是可以的,前提是你的業(yè)務(wù)不對操作的事性務(wù)有特殊要求;而權(quán)限管理也不用那么細(xì),因為ES的權(quán)限這塊還不完善。由于我們對ES的應(yīng)用場景僅僅是在于對某段時間內(nèi)的數(shù)據(jù)聚合操作,沒有大量的單文檔請求(比如通過userid來找到一個用戶的文檔,類似于NoSQL的應(yīng)用場景),所以能否替代NoSQL還需要各位自己的測試。如果讓我選擇的話,我會嘗試使用ES來替代傳統(tǒng)的NoSQL,因為它的橫向擴展機制太方便了。
在我的工作過程中,我深切體會到:經(jīng)驗固然是一個很重要的東西,因為它能夠幫助我們少走很多彎路,但同時也應(yīng)該看到經(jīng)驗的另一面——它會變成一個籠子,將我們閉塞其中,使我們錯過一些可能更好的解決方案,關(guān)鍵是我們要學(xué)會嘗試,接觸新的世界。
對此,前Google工程師,Milo(本地商店搜索引擎)創(chuàng)始人Ted Dziuba最近發(fā)表標(biāo)題驚人的博客“I Can't Wait for NoSQL to Die”,對NoSQL的適用范圍進行了分析。他認(rèn)為,
NoSQL也會帶來一連串的新問題,并不會成為主流,無法取代關(guān)系型數(shù)據(jù)庫。
他的理由是:Cassandra等NoSQL數(shù)據(jù)庫在使用上并不方便,比如,修改column family定義時就需要重啟。而且NoSQL更適合Google那樣的規(guī)模,而一般的互聯(lián)網(wǎng)公司都不是Google,早早地去考慮Google那樣的規(guī)模的可擴展性,純粹是浪費時間,存在巨大的商業(yè)風(fēng)險。
他還透露,即使在Google,AdWords這樣的關(guān)鍵產(chǎn)品也是基于MySQL實現(xiàn)的。
他在文中最后表示,NoSQL當(dāng)然死不了,但是
它最終會被邊緣化,就像Rails被NoSQL邊緣化一樣
Dziuba的文章因為言辭激烈,在社區(qū)里引起了強烈反應(yīng)。
SQL數(shù)據(jù)庫陣營贊同者大有人在。craigslist工程師、著名的MySQL專家Jeremy Zawodny表示,在讀此文的時候,不時會心一笑。他說,
NoSQL運動只是軟件不斷進化進程中的正常現(xiàn)象
。關(guān)系型數(shù)據(jù)庫也會繼續(xù)發(fā)展,MySQL社區(qū)不斷推出的XtraDB或InnoDB插件, PBXT, Drizzle都是證據(jù)。各種技術(shù)競爭的結(jié)果是,我們獲得了更多解決問題的選擇。
drizzle項目開發(fā)者Eric Day也表示,NoSQL有很多值得學(xué)習(xí)的,但是目前大部分實際項目的最佳選擇還是關(guān)系型數(shù)據(jù)庫。
NoSQL陣營當(dāng)然不會坐視不理,Cassandra項目組的Eric Evans表示,Dziuba提到Cassandra修改column family定義的問題其實很容易解決。而且,NoSQL并不是要取代MySQL,事實上Twitter仍然在用MySQL。如果關(guān)系型數(shù)據(jù)庫能夠承擔(dān)負(fù)荷,那就用好了;如果不行,請考慮NoSQL。
而德國知名博客Code Monkeyism則嘲笑Dziuba看起來并沒有用MySQL做過真實項目,因為MySQL如果沒有memcache,基本上無法應(yīng)付網(wǎng)站項目。他認(rèn)為,NoSQL將使SQL數(shù)據(jù)庫邊緣化,而且一個重要理由恰恰是可以節(jié)省DBA的開銷。
digg的前任首席架構(gòu)師現(xiàn)在也在創(chuàng)業(yè)的Joe Stump說,自己現(xiàn)在的創(chuàng)業(yè)項目就是用NoSQL,而且列舉了一系列問題挑戰(zhàn)SQL陣營。
NoSQL,泛指非關(guān)系型的數(shù)據(jù)庫。隨著互聯(lián)網(wǎng)web2.0網(wǎng)站的興起,傳統(tǒng)的關(guān)系數(shù)據(jù)庫在應(yīng)付web2.0網(wǎng)站,特別是超大規(guī)模和高并發(fā)的SNS類型的web2.0純動態(tài)網(wǎng)站已經(jīng)顯得力不從心,暴露了很多難以克服的問題,而非關(guān)系型的數(shù)據(jù)庫則由于其本身的特點得到了非常迅速的發(fā)展。NoSQL數(shù)據(jù)庫的產(chǎn)生就是為了解決大規(guī)模數(shù)據(jù)集合多重數(shù)據(jù)種類帶來的挑戰(zhàn),尤其是大數(shù)據(jù)應(yīng)用難題。
雖然NoSQL流行語火起來才短短一年的時間,但是不可否認(rèn),現(xiàn)在已經(jīng)開始了第二代運動。盡管早期的堆棧代碼只能算是一種實驗,然而現(xiàn)在的系統(tǒng)已經(jīng)更加的成熟、穩(wěn)定。不過現(xiàn)在也面臨著一個嚴(yán)酷的事實:技術(shù)越來越成熟——以至于原來很好的NoSQL數(shù)據(jù)存儲不得不進行重寫,也有少數(shù)人認(rèn)為這就是所謂的2.0版本。這里列出一些比較知名的工具,可以為大數(shù)據(jù)建立快速、可擴展的存儲庫。
NoSQL(NoSQL = Not Only SQL ),意即“不僅僅是SQL”,是一項全新的數(shù)據(jù)庫革命性運動,早期就有人提出,發(fā)展至2009年趨勢越發(fā)高漲。NoSQL的擁護者們提倡運用非關(guān)系型的數(shù)據(jù)存儲,相對于鋪天蓋地的關(guān)系型數(shù)據(jù)庫運用,這一概念無疑是一種全新的思維的注入。
對于NoSQL并沒有一個明確的范圍和定義,但是他們都普遍存在下面一些共同特征:
不需要預(yù)定義模式:不需要事先定義數(shù)據(jù)模式,預(yù)定義表結(jié)構(gòu)。數(shù)據(jù)中的每條記錄都可能有不同的屬性和格式。當(dāng)插入數(shù)據(jù)時,并不需要預(yù)先定義它們的模式。
無共享架構(gòu):相對于將所有數(shù)據(jù)存儲的存儲區(qū)域網(wǎng)絡(luò)中的全共享架構(gòu)。NoSQL往往將數(shù)據(jù)劃分后存儲在各個本地服務(wù)器上。因為從本地磁盤讀取數(shù)據(jù)的性能往往好于通過網(wǎng)絡(luò)傳輸讀取數(shù)據(jù)的性能,從而提高了系統(tǒng)的性能。
彈性可擴展:可以在系統(tǒng)運行的時候,動態(tài)增加或者刪除結(jié)點。不需要停機維護,數(shù)據(jù)可以自動遷移。
分區(qū):相對于將數(shù)據(jù)存放于同一個節(jié)點,NoSQL數(shù)據(jù)庫需要將數(shù)據(jù)進行分區(qū),將記錄分散在多個節(jié)點上面。并且通常分區(qū)的同時還要做復(fù)制。這樣既提高了并行性能,又能保證沒有單點失效的問題。
異步復(fù)制:和RAID存儲系統(tǒng)不同的是,NoSQL中的復(fù)制,往往是基于日志的異步復(fù)制。這樣,數(shù)據(jù)就可以盡快地寫入一個節(jié)點,而不會被網(wǎng)絡(luò)傳輸引起遲延。缺點是并不總是能保證一致性,這樣的方式在出現(xiàn)故障的時候,可能會丟失少量的數(shù)據(jù)。
BASE:相對于事務(wù)嚴(yán)格的ACID特性,NoSQL數(shù)據(jù)庫保證的是BASE特性。BASE是最終一致性和軟事務(wù)。
NoSQL數(shù)據(jù)庫并沒有一個統(tǒng)一的架構(gòu),兩種NoSQL數(shù)據(jù)庫之間的不同,甚至遠(yuǎn)遠(yuǎn)超過兩種關(guān)系型數(shù)據(jù)庫的不同??梢哉f,NoSQL各有所長,成功的NoSQL必然特別適用于某些場合或者某些應(yīng)用,在這些場合中會遠(yuǎn)遠(yuǎn)勝過關(guān)系型數(shù)據(jù)庫和其他的NoSQL。
分享題目:nosql代做,noSQL是什么
本文鏈接:http://m.rwnh.cn/article6/phpcog.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供服務(wù)器托管、全網(wǎng)營銷推廣、動態(tài)網(wǎng)站、網(wǎng)站排名、定制網(wǎng)站、網(wǎng)站設(shè)計公司
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)