中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

海量數(shù)據(jù)下的輿情分析,該如何搭建?

2021-03-03    分類: 網(wǎng)站建設(shè)

互聯(lián)網(wǎng)的飛速發(fā)展促進(jìn)了很多新媒體的發(fā)展,不論是知名的大V,明星還是圍觀群眾都可以通過手機(jī)在微博、朋友圈或者點(diǎn)評網(wǎng)站上發(fā)表動態(tài),分享自己的所見所想,使得“人人都有了麥克風(fēng)”。不論是熱點(diǎn)新聞還是娛樂八卦,傳播速度遠(yuǎn)超我們的想象,一則信息可以在短短數(shù)分鐘內(nèi),有數(shù)萬計(jì)轉(zhuǎn)發(fā),數(shù)百萬的閱讀。海量信息可以得到爆炸式的傳播,那么如何實(shí)時(shí)把握信息并作出對應(yīng)的處理呢?是不是真的難以應(yīng)對?今天,阿里云智能事業(yè)群的宇珩來跟我們聊聊大數(shù)據(jù)輿情系統(tǒng)對數(shù)據(jù)存儲和計(jì)算系統(tǒng)會有哪些需求,如何根據(jù)需求來進(jìn)行系統(tǒng)設(shè)計(jì)。

大數(shù)據(jù)時(shí)代下,除了媒體信息以外,商品在各類

整個(gè)計(jì)算流程會產(chǎn)生實(shí)時(shí)的輿情計(jì)算結(jié)果。重大輿情事件的預(yù)警,通過Tablestore和函數(shù)計(jì)算觸發(fā)器對接來實(shí)現(xiàn)。Tablestore和函數(shù)計(jì)算做了增量數(shù)據(jù)的無縫對接,通過結(jié)果表寫入事件,可以輕松的通過函數(shù)計(jì)算觸發(fā)短信或者郵件通知。完整的輿情分析結(jié)果和展示搜索利用了Tablestore的新功能多元索引,徹底解決了開源Hbase+Solr 多引擎的痛點(diǎn):

運(yùn)維復(fù)雜,需要有運(yùn)維hbase和solr兩套系統(tǒng)的能力,同時(shí)還需要維護(hù)數(shù)據(jù)同步的鏈路。

Solr數(shù)據(jù)一致性不如Hbase,在Hbase和Solr數(shù)據(jù)語意并不是完全一致,加上Solr/Elasticsearch在數(shù)據(jù)一致性很難做到像數(shù)據(jù)庫那么嚴(yán)格。在一些極端情況下會出現(xiàn)數(shù)據(jù)不一致的問題,開源方案也很難做到跨系統(tǒng)的一致性比對。

查詢接口需要維護(hù)兩套API,需要同時(shí)使用Hbase client和Solr client,索引中沒有的字段需要主動反查Hbase,易用性較差。

文章標(biāo)題:海量數(shù)據(jù)下的輿情分析,該如何搭建?
URL鏈接:http://m.rwnh.cn/news4/104054.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供服務(wù)器托管、微信公眾號品牌網(wǎng)站制作、網(wǎng)站排名、網(wǎng)站營銷、小程序開發(fā)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

成都app開發(fā)公司
桃江县| 敖汉旗| 云浮市| 宝兴县| 惠水县| 宝山区| 肇源县| 柳州市| 噶尔县| 虹口区| 锡林浩特市| 蒲江县| 泾源县| 北辰区| 天台县| 罗江县| 大田县| 怀远县| 锦屏县| 军事| 丰县| 长沙县| 鹤庆县| 宣城市| 临夏市| 云梦县| 共和县| 吉安市| 张家口市| 闽侯县| 陆河县| 多伦县| 山东| 邻水| 隆林| 台安县| 陆河县| 永德县| 郎溪县| 固阳县| 无棣县|