大數(shù)據(jù)下的地質(zhì)資料信息存儲(chǔ)架構(gòu)設(shè)計(jì)

頡貴琴 胡曉琴

在大東等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供網(wǎng)站設(shè)計(jì)制作、網(wǎng)站設(shè)計(jì) 網(wǎng)站設(shè)計(jì)制作按需制作網(wǎng)站,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),成都品牌網(wǎng)站建設(shè),全網(wǎng)整合營銷推廣,外貿(mào)營銷網(wǎng)站建設(shè),大東網(wǎng)站建設(shè)費(fèi)用合理。

(甘肅省國土資源信息中心)

摘要 為推進(jìn)我國地質(zhì)資料信息服務(wù)集群化產(chǎn)業(yè)化工作，更大更好地發(fā)揮地質(zhì)資料信息的價(jià)值，本文針對我國現(xiàn)有的地質(zhì)資料信息集群化共享服務(wù)平臺存在的缺陷和問題，基于現(xiàn)有系統(tǒng)的存儲(chǔ)架構(gòu)，設(shè)計(jì)了一種大數(shù)據(jù)下的地質(zhì)資料信息存儲(chǔ)架構(gòu)，以便于我國地質(zhì)資料信息服務(wù)集群化產(chǎn)業(yè)化工作能夠適應(yīng)大數(shù)據(jù)時(shí)代的數(shù)據(jù)存儲(chǔ)。

關(guān)鍵詞 大數(shù)據(jù) 地質(zhì)資料 存儲(chǔ) NoSQL 雙數(shù)據(jù)庫

0 引言

新中國成立60多年來，我國形成了海量的地質(zhì)資料信息，為國民經(jīng)濟(jì)和社會(huì)發(fā)展提供了重要支撐。但在地質(zhì)資料管理方面長期存在資料信息分散、綜合研究不夠、數(shù)字化信息化程度不高、服務(wù)渠道不暢、服務(wù)能力不強(qiáng)等問題，使地質(zhì)資料信息的巨大潛在價(jià)值未能得到充分發(fā)揮。為進(jìn)一步提高地質(zhì)工作服務(wù)國民經(jīng)濟(jì)和社會(huì)發(fā)展的能力，充分發(fā)揮地質(zhì)資料信息的服務(wù)功能，擴(kuò)大服務(wù)領(lǐng)域，國土資源部根據(jù)國內(nèi)外地質(zhì)工作的先進(jìn)經(jīng)驗(yàn)，做出了全面推進(jìn)地質(zhì)資料信息服務(wù)集群化產(chǎn)業(yè)化工作的部署。

目前，全國各省地質(zhì)資料館都在有條不紊地對本省成果、原始和實(shí)物地質(zhì)資料進(jìn)行清理，并對其中重要地質(zhì)資料進(jìn)行數(shù)字化和存儲(chǔ)工作。然而，由于我國地質(zhì)資源豐富，經(jīng)過幾十年的積累，已經(jīng)形成了海量的地質(zhì)資料，數(shù)據(jù)量早已經(jīng)超過了幾百太字節(jié)(TB)。在進(jìn)行地質(zhì)資料信息服務(wù)集群化工作中，隨著共享數(shù)據(jù)量的不斷增大，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)方式和管理系統(tǒng)必然會(huì)展現(xiàn)出存儲(chǔ)和檢索方面的不足以及系統(tǒng)管理方面的缺陷。為了解決該問題，需要設(shè)計(jì)更加先進(jìn)的數(shù)據(jù)存儲(chǔ)架構(gòu)來實(shí)現(xiàn)海量地質(zhì)資料的存儲(chǔ)。

而大數(shù)據(jù)(Big Data)作為近年來在云計(jì)算領(lǐng)域中出現(xiàn)的一種新型數(shù)據(jù)，科技工作者在不斷的研究中，設(shè)計(jì)了適合大數(shù)據(jù)存儲(chǔ)管理的非關(guān)系型數(shù)據(jù)庫NoSQL進(jìn)行大數(shù)據(jù)的存儲(chǔ)和管理。本文將針對我國現(xiàn)有的地質(zhì)資料信息集群化共享服務(wù)平臺存在的缺陷和問題，利用大數(shù)據(jù)存儲(chǔ)管理模式的思想，提出一種海量地質(zhì)資料存儲(chǔ)架構(gòu)，改進(jìn)現(xiàn)有系統(tǒng)存儲(chǔ)架構(gòu)，以便于我國全面推進(jìn)地質(zhì)資料信息服務(wù)集群化產(chǎn)業(yè)化工作。

1 工作現(xiàn)狀

1.1 國內(nèi)外地質(zhì)資料信息的存儲(chǔ)現(xiàn)狀

在美國，主要有兩大地質(zhì)資料公共服務(wù)平臺，分別是地球科學(xué)信息中心(ESIC)、地球資源觀測和科學(xué)中心(EROS)，其目的是通過為社會(huì)和政府提供更加便利、快速的地質(zhì)信息服務(wù)。20世紀(jì)90年代初，澳大利亞出臺了國家地球科學(xué)填圖協(xié)議，采用先進(jìn)的科學(xué)方法和技術(shù)進(jìn)行數(shù)據(jù)存儲(chǔ)，從而形成了第二代澳大利亞陸地地質(zhì)圖。

目前，我國地質(zhì)資料信息服務(wù)集群化產(chǎn)業(yè)化工作剛剛起步，雖然國土資源部信息中心已經(jīng)開發(fā)了地質(zhì)資料信息集群化共享服務(wù)平臺，并倡導(dǎo)各地方用戶使用該系統(tǒng)。但由于各個(gè)地方早期的工作背景不一致，因此各地方所使用的存儲(chǔ)系統(tǒng)也不盡相同，主要有Access、SQL Server、Oracle、MySQL等系統(tǒng)。本文以國土資源部信息中心開發(fā)的地質(zhì)資料信息集群化共享服務(wù)平臺的存儲(chǔ)系統(tǒng)MySQL為例說明。該系統(tǒng)是基于關(guān)系數(shù)據(jù)庫管理系統(tǒng)MySQL的一套分布式存儲(chǔ)檢索系統(tǒng)。該系統(tǒng)的部署使得我國地質(zhì)資料信息服務(wù)集群化產(chǎn)業(yè)化工作取得了重大進(jìn)展，同時(shí)也為我國建立標(biāo)準(zhǔn)統(tǒng)一的地質(zhì)資料信息共享服務(wù)平臺和互聯(lián)互通的網(wǎng)絡(luò)服務(wù)體系奠定了堅(jiān)實(shí)的基礎(chǔ)。然而，該系統(tǒng)的研發(fā)并沒有考慮到地質(zhì)資料信息進(jìn)一步集群化以及在未來地質(zhì)資料信息進(jìn)入大數(shù)據(jù)時(shí)代的信息共享和存儲(chǔ)管理問題，也沒有給出明確的解決方案。

1.2 大數(shù)據(jù)的存儲(chǔ)架構(gòu)介紹

大數(shù)據(jù)是近年在云計(jì)算領(lǐng)域中出現(xiàn)的一種新型數(shù)據(jù)，具有數(shù)據(jù)量大、數(shù)據(jù)結(jié)構(gòu)不固定、類型多樣、查詢分析復(fù)雜等特點(diǎn)。傳統(tǒng)關(guān)系型數(shù)據(jù)庫管理系統(tǒng)在數(shù)據(jù)存儲(chǔ)規(guī)模、檢索效率等方面已不再適合大數(shù)據(jù)存儲(chǔ)。NoSQL(Not Only SQL)是與關(guān)系數(shù)據(jù)庫相對的一類數(shù)據(jù)庫的總稱。這些數(shù)據(jù)庫放棄了對關(guān)系數(shù)據(jù)庫的支持，轉(zhuǎn)而采用靈活的、分布式的數(shù)據(jù)存儲(chǔ)方式管理數(shù)據(jù)，從而可以滿足大數(shù)據(jù)存儲(chǔ)和處理的需求。NoSQL基于非關(guān)系型數(shù)據(jù)存儲(chǔ)的設(shè)計(jì)理念，以鍵值對進(jìn)行存儲(chǔ)，采用的數(shù)據(jù)字的結(jié)構(gòu)不固定，每一個(gè)元組可以有不一樣的字段，且每個(gè)元組可以根據(jù)自己的需要增加一些自己的鍵值對，可以減少一些檢索時(shí)間和存儲(chǔ)空間。目前，應(yīng)用廣泛的 NoSQL 數(shù)據(jù)庫有 Google BigTable、HBase、MongoDB、Neo4 j、Infinite Graph等。

2 大數(shù)據(jù)下的地質(zhì)資料信息存儲(chǔ)架構(gòu)設(shè)計(jì)

根據(jù)國土資源部做出的全面推進(jìn)地質(zhì)資料信息服務(wù)集群化產(chǎn)業(yè)化工作的部署，國土資源部倡導(dǎo)全國地質(zhì)資料館使用國土資源部信息中心開發(fā)的地質(zhì)資料信息集群化共享服務(wù)平臺，實(shí)現(xiàn)地質(zhì)資料信息的存儲(chǔ)和共享。該系統(tǒng)采用了數(shù)據(jù)庫管理系統(tǒng)MySQL作為數(shù)據(jù)存儲(chǔ)系統(tǒng)。

為了與現(xiàn)有系統(tǒng)和現(xiàn)有的工作進(jìn)行對接，并為將來地質(zhì)資料進(jìn)入大數(shù)據(jù)時(shí)代后的存儲(chǔ)工作做準(zhǔn)備，本文設(shè)計(jì)了一種能用于海量地質(zhì)資料信息存儲(chǔ)并且兼容MySQL的分布式的數(shù)據(jù)存儲(chǔ)架構(gòu)(圖1)。

整個(gè)系統(tǒng)可以根據(jù)不同的用戶等級分為不同的用戶管理層，由于圖幅限制，在圖1 中僅僅展示了3級：國家級管理層(即共享服務(wù)平臺用戶層)、省級管理層以及市級管理層(可根據(jù)實(shí)際需要延伸至縣級)。

每級管理層的每個(gè)用戶可以單獨(dú)管理一個(gè)服務(wù)器。如國土資源部信息中心可以單獨(dú)管理一個(gè)服務(wù)器；甘肅省國土資源信息中心可以單獨(dú)管理一個(gè)服務(wù)器，陜西省國土資源信息中心可以單獨(dú)管理一個(gè)服務(wù)器；甘肅的若干個(gè)市級國土資源局可以根據(jù)需要分別管理各自的服務(wù)器。

在服務(wù)器上分別安裝兩套數(shù)據(jù)庫管理系統(tǒng)，一套是原有的MySQL數(shù)據(jù)庫管理系統(tǒng)，另一套是為大數(shù)據(jù)存儲(chǔ)而配備的NoSQL型數(shù)據(jù)庫管理系統(tǒng)。在服務(wù)器上還專門開發(fā)一個(gè)數(shù)據(jù)庫管理器中間件，用于進(jìn)行用戶層和數(shù)據(jù)庫的通信以及兩套數(shù)據(jù)庫之間的通信。

由于各個(gè)管理層都各自維護(hù)自己的數(shù)據(jù)庫和數(shù)據(jù)。當(dāng)用戶需要進(jìn)行數(shù)據(jù)存儲(chǔ)時(shí)，他所影響的數(shù)據(jù)庫僅僅是本地?cái)?shù)據(jù)庫，存儲(chǔ)效率較高；當(dāng)用戶需要從多個(gè)數(shù)據(jù)庫讀取數(shù)據(jù)時(shí)，頂層的共享服務(wù)平臺會(huì)根據(jù)用戶需求進(jìn)行任務(wù)分解，將任務(wù)分發(fā)給下層的管理層進(jìn)行數(shù)據(jù)庫讀取，由于各個(gè)數(shù)據(jù)庫并行讀取，從而提高了數(shù)據(jù)庫讀取效率。

圖1 大數(shù)據(jù)下的地質(zhì)資料信息存儲(chǔ)架構(gòu)框圖

2.1 用戶管理層

用戶管理層根據(jù)權(quán)限范圍，分為多層(本文以3層為例)。

位于頂層的國家級管理層(共享服務(wù)平臺用戶層)負(fù)責(zé)用戶訪問權(quán)限的分配、與其直接關(guān)聯(lián)的數(shù)據(jù)庫的訪問、下級管理層任務(wù)的分配等工作。

用戶訪問權(quán)限的分配是指為訪問本共享服務(wù)平臺的個(gè)人用戶和單位用戶分配數(shù)據(jù)的使用權(quán)限、安全性的設(shè)計(jì)等。

與其直接關(guān)聯(lián)的數(shù)據(jù)庫訪問是指直接存儲(chǔ)在其本地?cái)?shù)據(jù)庫上的數(shù)據(jù)的訪問。在該數(shù)據(jù)庫中不僅要存儲(chǔ)所需要的地質(zhì)資料，還要存儲(chǔ)注冊用戶信息等數(shù)據(jù)。

下級管理層任務(wù)分配是指如果用戶需要訪問多個(gè)下層數(shù)據(jù)庫，用戶只需要輸入查詢這幾個(gè)下層數(shù)據(jù)庫的命令，而如何查找下層數(shù)據(jù)庫則由該功能來完成。例如某用戶要查找甘肅、陜西、上海、北京的鐵礦分布圖，則用戶只需要輸入這幾個(gè)地方及鐵礦等查詢條件，系統(tǒng)將自動(dòng)把各個(gè)省的數(shù)據(jù)庫查詢?nèi)蝿?wù)分派到下級管理層。

同理，位于下層的省級管理層和市級管理層除了沒有用戶訪問權(quán)限功能外，其余功能與國家級管理層是相同的。各層之間的數(shù)據(jù)庫通過互聯(lián)網(wǎng)相互連接成分布式的數(shù)據(jù)庫系統(tǒng)。

2.2 MySQL和NoSQL的融合

MySQL是關(guān)系型數(shù)據(jù)庫，它支持SQL查詢語言，而NoSQL是非關(guān)系型數(shù)據(jù)庫，它不支持SQL查詢語言。用戶要想透明地訪問這兩套數(shù)據(jù)庫，必須要設(shè)計(jì)數(shù)據(jù)庫管理器中間件，作為用戶訪問數(shù)據(jù)庫的統(tǒng)一入口和兩套數(shù)據(jù)庫管理系統(tǒng)的通信平臺。本文所設(shè)計(jì)的數(shù)據(jù)庫管理器簡單模型如圖2所示。

圖2 數(shù)據(jù)庫管理器模型

服務(wù)器管理器通過用戶程序接口與應(yīng)用程序進(jìn)行通訊，通過MySQL數(shù)據(jù)庫接口與MySQL服務(wù)器通訊，通過NoSQL數(shù)據(jù)庫接口與NoSQL數(shù)據(jù)庫接口通訊。當(dāng)應(yīng)用程序接口接收到一條數(shù)據(jù)庫訪問命令之后，交由數(shù)據(jù)庫訪問命令解析器進(jìn)行命令解析，從而形成MySQL訪問命令或者NoSQL訪問命令，通過相應(yīng)的數(shù)據(jù)庫接口訪問數(shù)據(jù)庫；數(shù)據(jù)庫返回訪問結(jié)果后經(jīng)過匯總，由應(yīng)用程序接口返回給應(yīng)用程序。

兩套數(shù)據(jù)庫可以通過雙數(shù)據(jù)庫通信協(xié)議進(jìn)行相互的通信和互訪。此通信協(xié)議的建立便于地質(zhì)工作人員將已經(jīng)存入MySQL數(shù)據(jù)庫的不適合結(jié)構(gòu)化存儲(chǔ)的數(shù)據(jù)轉(zhuǎn)存到NoSQL數(shù)據(jù)庫中，從而便于系統(tǒng)的升級和優(yōu)化。

2.3 系統(tǒng)的存儲(chǔ)和檢索模式

在本存儲(chǔ)框架設(shè)計(jì)中，系統(tǒng)采用分布式網(wǎng)絡(luò)存儲(chǔ)模式，即采用可擴(kuò)展的存儲(chǔ)結(jié)構(gòu)，利用分散在全國各地的多臺獨(dú)立的服務(wù)器進(jìn)行數(shù)據(jù)存儲(chǔ)。這種方式不僅分擔(dān)了服務(wù)器的存儲(chǔ)壓力，提高了系統(tǒng)的可靠性和可用性，還易于進(jìn)行系統(tǒng)擴(kuò)展。另外，由于地質(zhì)資料信息存儲(chǔ)的特殊性，各地方用戶的數(shù)據(jù)存儲(chǔ)工作基本都是在本地服務(wù)器進(jìn)行，很少通過網(wǎng)絡(luò)進(jìn)行遠(yuǎn)程存儲(chǔ)，所以數(shù)據(jù)存儲(chǔ)效率較高。

在一臺數(shù)據(jù)庫服務(wù)器上安裝有MySQL和NoSQL型兩套數(shù)據(jù)庫管理系統(tǒng)，分別用于存儲(chǔ)地質(zhì)資料信息中的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。其中，NoSQL型數(shù)據(jù)庫作為主數(shù)據(jù)庫，用于存儲(chǔ)一部分結(jié)構(gòu)化數(shù)據(jù)和全部的非結(jié)構(gòu)化數(shù)據(jù)；而MySQL數(shù)據(jù)庫作為輔助數(shù)據(jù)庫，用于存儲(chǔ)一部分結(jié)構(gòu)化的數(shù)據(jù)，以及舊系統(tǒng)中已經(jīng)存儲(chǔ)的數(shù)據(jù)。使用兩套數(shù)據(jù)庫不僅可以存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)而且還可以適用于大數(shù)據(jù)時(shí)代地質(zhì)資料信息的存儲(chǔ)，因此系統(tǒng)具有很好的適應(yīng)性和靈活性。

2.4 安全性設(shè)計(jì)

地質(zhì)資料信息是國家的機(jī)密，地質(zhì)工作人員必須要保證它的安全。地質(zhì)資料信息進(jìn)入數(shù)字化時(shí)代之后，地質(zhì)資料常常在計(jì)算機(jī)以及網(wǎng)絡(luò)上進(jìn)行傳輸，地質(zhì)資料信息的安全傳輸和保存更是地質(zhì)工作人員必須關(guān)注和解決的問題。在本存儲(chǔ)架構(gòu)的設(shè)計(jì)中設(shè)計(jì)的安全問題主要有數(shù)據(jù)庫存儲(chǔ)安全、數(shù)據(jù)傳輸安全、數(shù)據(jù)訪問安全等問題。

數(shù)據(jù)庫設(shè)計(jì)時(shí)采用多邊安全模型和多級安全模型阻止數(shù)據(jù)庫中信息和數(shù)據(jù)的泄露來提高數(shù)據(jù)庫的安全性能，以保障地質(zhì)信息在數(shù)據(jù)庫中的存儲(chǔ)安全；當(dāng)用戶登錄系統(tǒng)訪問數(shù)據(jù)庫時(shí)，必須進(jìn)行用戶甄別和實(shí)名認(rèn)證，這主要是對用戶的身份進(jìn)行有效的識別，防止非法用戶訪問數(shù)據(jù)庫；在對地質(zhì)資料進(jìn)行網(wǎng)絡(luò)傳輸時(shí)，應(yīng)該首先將數(shù)據(jù)進(jìn)行加密，然后再進(jìn)行網(wǎng)絡(luò)傳輸，以防止地質(zhì)信息在傳輸過程中被竊取。

3 結(jié)語

提高地質(zhì)資料數(shù)字化信息化水平，是國外地質(zhì)工作強(qiáng)國的普遍做法。為推進(jìn)我國地質(zhì)資料信息服務(wù)集群化產(chǎn)業(yè)化工作，本文針對我國現(xiàn)有的地質(zhì)資料信息集群化共享服務(wù)平臺存在的缺陷和問題，利用大數(shù)據(jù)存儲(chǔ)管理模式的思想，基于現(xiàn)有系統(tǒng)的存儲(chǔ)架構(gòu)，設(shè)計(jì)了一種大數(shù)據(jù)下的地質(zhì)資料信息存儲(chǔ)架構(gòu)，以便于我國地質(zhì)資料信息服務(wù)集群化產(chǎn)業(yè)化工作能夠適應(yīng)大數(shù)據(jù)時(shí)代的數(shù)據(jù)存儲(chǔ)。該存儲(chǔ)架構(gòu)的設(shè)計(jì)只涉及了簡單模型的構(gòu)建，具體詳細(xì)復(fù)雜的功能設(shè)計(jì)和軟件實(shí)現(xiàn)還需要在進(jìn)一步的研究工作中完成。

參考文獻(xiàn)

[1]吳金朋.一種大數(shù)據(jù)存儲(chǔ)模型的研究與應(yīng)用[D].北京：北京郵電大學(xué)計(jì)算機(jī)學(xué)院，2012.

[2]吳廣君，王樹鵬，陳明，等.海量結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)檢索系統(tǒng)[J].計(jì)算機(jī)研究與發(fā)展，2012，49(Suppl)：1～5.

[3]黃

，易曉東，李?yuàn)檴?，?面向高性能計(jì)算機(jī)的海量數(shù)據(jù)處理平臺實(shí)現(xiàn)與評測[J].計(jì)算機(jī)研究與發(fā)展，2012，49(Suppl)：357～361.

NoSQL數(shù)據(jù)庫是否意味著缺乏安全性？

NoSQL薄弱的安全性會(huì)給企業(yè)帶來負(fù)面影響 。Imperva公司創(chuàng)始人兼CTO Amichai Shulman如是說。在新的一年中，無疑會(huì)有更多企業(yè)開始或籌劃部署NoSQL。方案落實(shí)后就會(huì)逐漸發(fā)現(xiàn)種種安全問題，因此早做準(zhǔn)備才是正確的選擇。 作為傳統(tǒng)關(guān)系型數(shù)據(jù)庫的替代方案，NoSQL在查詢中并不使用SQL語言，而且允許用戶隨時(shí)變更數(shù)據(jù)屬性。此類數(shù)據(jù)庫以擴(kuò)展性良好著稱，并能夠在需要大量應(yīng)用程序與數(shù)據(jù)庫本身進(jìn)行實(shí)時(shí)交互的交易處理任務(wù)中發(fā)揮性能優(yōu)勢，Couchbase創(chuàng)始人兼產(chǎn)品部門高級副總裁James Phillips解釋稱：NoSQL以交易業(yè)務(wù)為核心。它更注重實(shí)時(shí)處理能力并且擅長直接對數(shù)據(jù)進(jìn)行操作，大幅度促進(jìn)了交互型軟件系統(tǒng)的發(fā)展。Phillips指出。其中最大的優(yōu)勢之一是能夠隨時(shí)改變(在屬性方面)，由于結(jié)構(gòu)性的弱化，修改過程非常便捷。 NoSQL最大優(yōu)勢影響其安全性 NoSQL的關(guān)鍵性特色之一是其動(dòng)態(tài)的數(shù)據(jù)模型，Shulman解釋道。我可以在其運(yùn)作過程中加入新的屬性記錄。因此與這種結(jié)構(gòu)相匹配的安全模型必須具備一定的前瞻性規(guī)劃。也就是說，它必須能夠了解數(shù)據(jù)庫引入的新屬性將引發(fā)哪些改變，以及新加入的屬性擁有哪些權(quán)限。然而這個(gè)層面上的安全概念目前尚不存在，根本沒有這樣的解決方案。 根據(jù)Phillips的說法，某些NoSQL開發(fā)商已經(jīng)開始著手研發(fā)安全機(jī)制，至少在嘗試保護(hù)數(shù)據(jù)的完整性。在關(guān)系型數(shù)據(jù)庫領(lǐng)域，如果我們的數(shù)據(jù)組成不正確，那么它將無法與結(jié)構(gòu)并行運(yùn)作，換言之?dāng)?shù)據(jù)插入操作整體將宣告失敗。目前各種驗(yàn)證規(guī)則與完整性檢查已經(jīng)比較完善，而事實(shí)證明這些驗(yàn)證機(jī)制都能在NoSQL中發(fā)揮作用。我們與其他人所推出的解決方案類似，都會(huì)在插入一條新記錄或是文檔型規(guī)則時(shí)觸發(fā)，并在執(zhí)行過程中確保插入數(shù)據(jù)的正確性。 Shulman預(yù)計(jì)新用戶很快將在配置方面捅出大婁子，這并非因?yàn)镮T工作人員的玩忽職守，實(shí)際上主要原因是NoSQL作為一項(xiàng)新技術(shù)導(dǎo)致大多數(shù)人對其缺乏足夠的知識基礎(chǔ)。Application Security研發(fā)部門TeamSHATTER的經(jīng)理Alex Rothacker對上述觀點(diǎn)表示贊同。他指出，培訓(xùn)的一大問題在于，大多數(shù)NoSQL的從業(yè)者往往屬于新生代IT人士，他們對于技術(shù)了解較多，但往往缺乏足夠的安全管理經(jīng)驗(yàn)。 如果他們從傳統(tǒng)關(guān)系型數(shù)據(jù)庫入手，那么由于強(qiáng)制性安全機(jī)制的完備，他們可以在使用中學(xué)習(xí)。但NoSQL，只有行家才能通過觀察得出正確結(jié)論，并在大量研究工作后找到一套完備的安全解決方案。因此可能有90%的從業(yè)者由于知識儲(chǔ)備、安全經(jīng)驗(yàn)或是工作時(shí)間的局限而無法做到這一點(diǎn)。 NoSQL需在安全性方面進(jìn)行優(yōu)化 盡管Phillips認(rèn)同新技術(shù)與舊經(jīng)驗(yàn)之間存在差異，但企業(yè)在推廣NoSQL時(shí)加大對安全性的關(guān)注會(huì)起到很大程度的積極作用。他認(rèn)為此類數(shù)據(jù)存儲(chǔ)機(jī)制與傳統(tǒng)關(guān)系類數(shù)據(jù)庫相比，其中包含著的敏感類信息更少，而且與企業(yè)網(wǎng)絡(luò)內(nèi)部其它應(yīng)用程序的接觸機(jī)會(huì)也小得多。 他們并不把這項(xiàng)新技術(shù)完全當(dāng)成數(shù)據(jù)庫使用，正如我們在收集整理大量來自其它應(yīng)用程序的業(yè)務(wù)類數(shù)據(jù)時(shí)，往往也會(huì)考慮將其作為企業(yè)數(shù)據(jù)存儲(chǔ)機(jī)制一樣，他補(bǔ)充道。當(dāng)然，如果我打算研發(fā)一套具備某種特定功能的社交網(wǎng)絡(luò)、社交游戲或是某種特殊web應(yīng)用程序，也很可能會(huì)將其部署于防火墻之下。這樣一來它不僅與應(yīng)用程序緊密結(jié)合，也不會(huì)被企業(yè)中的其它部門所觸及。 但Rothacker同時(shí)表示，這種過度依賴周邊安全機(jī)制的數(shù)據(jù)庫系統(tǒng)也存在著極其危險(xiǎn)的漏洞。一旦系統(tǒng)完全依附于周邊安全模型，那么驗(yàn)證機(jī)制就必須相對薄弱，而且缺乏多用戶管理及數(shù)據(jù)訪問方面的安全保護(hù)。只要擁有高權(quán)限賬戶，我們幾乎能訪問存儲(chǔ)機(jī)制中的一切數(shù)據(jù)。舉例來說，Brian Sullivan就在去年的黑帽大會(huì)上演示了如何在完全不清楚數(shù)據(jù)具體內(nèi)容的情況下，將其信息羅列出來甚至導(dǎo)出。 而根據(jù)nCircle公司CTO Tim ‘TK’ Keanini的觀點(diǎn)，即使是與有限的應(yīng)用程序相關(guān)聯(lián)，NoSQL也很有可能被暴露在互聯(lián)網(wǎng)上。在缺少嚴(yán)密網(wǎng)絡(luò)劃分的情況下，它可能成為攻擊者窺探存儲(chǔ)數(shù)據(jù)的薄弱環(huán)節(jié)。因?yàn)镹oSQL在設(shè)計(jì)上主要用于互聯(lián)網(wǎng)規(guī)模的部署，所以它很可能被直接連接到互聯(lián)網(wǎng)中，進(jìn)而面臨大量攻擊行為。 其中發(fā)生機(jī)率最高的攻擊行為就是注入式攻擊，這也是一直以來肆虐于關(guān)系類數(shù)據(jù)庫領(lǐng)域的頭號公敵。盡管NoSQL沒有將SQL作為查詢語言，也并不代表它能夠免受注入式攻擊的威脅。雖然不少人宣稱SQL注入在NoSQL這邊不起作用，但其中的原理是完全一致的。攻擊者需要做的只是改變自己注入內(nèi)容的語法形式，Rothacker解釋稱。也就是說雖然SQL注入不會(huì)出現(xiàn)，但JavaScript注入或者JSON注入同樣能威脅安全。 此外，攻擊者在籌劃對這類數(shù)據(jù)庫展開侵襲時(shí)，也很可能進(jìn)一步優(yōu)化自己的工具。不成熟的安全技術(shù)往往帶來這樣的窘境：需要花費(fèi)大量時(shí)間學(xué)習(xí)如何保障其安全，但幾乎每個(gè)IT人士都能迅速掌握攻擊活動(dòng)的組織方法。因此我認(rèn)為攻擊者將會(huì)始終走在安全部署的前面，Shulman說道。遺憾的是搞破壞總比防范工作更容易，而我們已經(jīng)看到不少NoSQL技術(shù)方面的公開漏洞，尤其是目前引起熱議的、以JSON注入為載體的攻擊方式。 NoSQL安全性并非其阻礙 然而，這一切都不應(yīng)該成為企業(yè)使用NoSQL的阻礙，他總結(jié)道。我認(rèn)為歸根結(jié)底，這應(yīng)該算是企業(yè)的一種商業(yè)決策。只要這種選擇能夠帶來吸引力巨大的商業(yè)機(jī)遇，就要承擔(dān)一定風(fēng)險(xiǎn)，Shulman解釋道。但應(yīng)該采取一定措施以盡量弱化這種風(fēng)險(xiǎn)。 舉例來說，鑒于數(shù)據(jù)庫對外部安全機(jī)制的依賴性，Rothacker建議企業(yè)積極考慮引入加密方案。他警告稱，企業(yè)必須對與NoSQL相對接的應(yīng)用程序代碼仔細(xì)檢查。換言之，企業(yè)必須嚴(yán)格挑選負(fù)責(zé)此類項(xiàng)目部署的人選，確保將最好的人才用于這方面事務(wù)，Shulman表示。當(dāng)大家以NoSQL為基礎(chǔ)編寫應(yīng)用程序時(shí)，必須啟用有經(jīng)驗(yàn)的編程人員，因?yàn)榭蛻舳塑浖堑謸醢踩珕栴}的第一道屏障。切實(shí)為額外緩沖區(qū)的部署留出時(shí)間與預(yù)算，這能夠讓員工有閑暇反思自己的工作內(nèi)容并盡量多顧及安全考量多想一點(diǎn)就是進(jìn)步。綜上所述，這可能與部署傳統(tǒng)的關(guān)系類數(shù)據(jù)庫也沒什么不同。 具有諷刺意味的是，近年來數(shù)據(jù)庫應(yīng)用程序在安全性方面的提升基本都跟數(shù)據(jù)庫本身沒什么關(guān)系，nCircle公司安全研究及開發(fā)部門總監(jiān)Oliver Lavery如是說。

怎么給elasticsearch添加用戶管理權(quán)限

我們使用Elasticsearch存儲(chǔ)的文檔數(shù)量接近50億（算上1份復(fù)制，接近 100億文檔），總共10個(gè)數(shù)據(jù)節(jié)點(diǎn)和2個(gè)元數(shù)據(jù)節(jié)點(diǎn)（48GB內(nèi)存，8核心CPU，ES使用內(nèi)存達(dá)到70%），每天的文檔增量大概是3000W條（速度 持續(xù)增加中）。目前來看，單個(gè)文檔的查詢效率基本處于實(shí)時(shí)狀態(tài)；對于1到2周的數(shù)據(jù)的聚合統(tǒng)計(jì)操作也可以在10秒之內(nèi)返回結(jié)果。但是，還有提升的空間： 1. 對于查詢單條數(shù)據(jù)的應(yīng)用場景來說，我們可以使用ES的路由機(jī)制，將同一索引內(nèi)的具有相同特征（比如具有相同的userid）的文檔全部存儲(chǔ)于一個(gè)節(jié)點(diǎn)上，這樣我們之后的查詢都可以直接定位到這個(gè)節(jié)點(diǎn)上，而不用將查詢廣播道所有的節(jié)點(diǎn)上；2. 隨著數(shù)據(jù)節(jié)點(diǎn)的增加，適當(dāng)增加分片數(shù)量，提升系統(tǒng)的分布水平，也可以通過分而治之的方式優(yōu)化查詢性能；　 　個(gè)人以為Elasticsearch作為內(nèi)部存儲(chǔ)來說還是不錯(cuò)的，效率也基本能夠滿足，在某些方面替代傳統(tǒng)DB也是可以的，前提是你的業(yè)務(wù)不對操作的事 性務(wù)有特殊要求；而權(quán)限管理也不用那么細(xì)，因?yàn)镋S的權(quán)限這塊還不完善。由于我們對ES的應(yīng)用場景僅僅是在于對某段時(shí)間內(nèi)的數(shù)據(jù)聚合操作，沒有大量的單文 檔請求（比如通過userid來找到一個(gè)用戶的文檔，類似于NoSQL的應(yīng)用場景），所以能否替代NoSQL還需要各位自己的測試。如果讓我選擇的話，我 會(huì)嘗試使用ES來替代傳統(tǒng)的NoSQL，因?yàn)樗臋M向擴(kuò)展機(jī)制太方便了。

values在數(shù)據(jù)庫中是什么意思?

values：值，數(shù)據(jù)

在非事物型的nosql數(shù)據(jù)庫中，例如redis數(shù)據(jù)庫是：key-values數(shù)據(jù)庫，俗稱：鍵-值

values就是數(shù)據(jù)，對應(yīng)的是key值，程序可以通過getValues(key) 的方式來獲取數(shù)據(jù)。

MySql是一個(gè)種關(guān)聯(lián)數(shù)據(jù)庫管理系統(tǒng)，所謂關(guān)聯(lián)數(shù)據(jù)庫就是將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個(gè)大的倉庫中。這樣就增加了速度與提高了靈活性。并且MySql軟件是一個(gè)開放源碼軟件。

擴(kuò)展資料

關(guān)系型數(shù)據(jù)庫按照結(jié)構(gòu)化的方法存儲(chǔ)數(shù)據(jù)， 每個(gè)數(shù)據(jù)表都必須對各個(gè)字段定義好（也就是先定義好表的結(jié)構(gòu)），再根據(jù)表的結(jié)構(gòu)存入數(shù)據(jù)，這樣做的好處就是由于數(shù)據(jù)的形式和內(nèi)容在存入數(shù)據(jù)之前就已經(jīng)定義好了，所以整個(gè)數(shù)據(jù)表的可靠性和穩(wěn)定性都比較高，但帶來的問題就是一旦存入數(shù)據(jù)后，如果需要修改數(shù)據(jù)表的結(jié)構(gòu)就會(huì)十分困難。

而NoSQL數(shù)據(jù)庫由于面對的是大量非結(jié)構(gòu)化的數(shù)據(jù)的存儲(chǔ)，它采用的是動(dòng)態(tài)結(jié)構(gòu)，對于數(shù)據(jù)類型和結(jié)構(gòu)的改變非常的適應(yīng)，可以根據(jù)數(shù)據(jù)存儲(chǔ)的需要靈活的改變數(shù)據(jù)庫的結(jié)構(gòu)。

文章標(biāo)題：nosql權(quán)限設(shè)計(jì),nosql設(shè)計(jì)原則
標(biāo)題來源：http://m.rwnh.cn/article18/dscoddp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、微信小程序、網(wǎng)站設(shè)計(jì)公司、域名注冊、手機(jī)網(wǎng)站建設(shè)、品牌網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)