大數據輿情監控系統需求說(shuō)明書(shū)標準版

當前授瘦,隨著(zhù)移動(dòng)互聯(lián)網(wǎng)的迅猛發(fā)展绽图,新型傳播方式不斷涌現步清,黨政機關(guān)的施政環(huán)境發(fā)生深刻變化莱睁。傳統媒體的輿論監督力量有增無(wú)減塞弊,以“三微一端”(微信、微博颊谍、微視頻紧鳄、移動(dòng)客戶(hù)端)為代表的移動(dòng)新媒體成為社會(huì )輿論的新引擎,自媒體的信息發(fā)布門(mén)檻低、轉發(fā)能力強、傳播速度快兽泄,增加了輿情爆發(fā)機率和應對處置難度譬辙。因此,加強輿情管理、做好輿情應對成為黨政機關(guān)提升治理能力的內在要求申姨。

輿情監控系統
常見(jiàn)的輿情監測系統架構設計

下表是一個(gè)標準的輿情監控系統需求列表旗笔,僅做參考。

輿情大數據采集與清洗系統 1语诈、 平臺基于云計算架構進(jìn)行設計,集成了互聯(lián)網(wǎng)數據動(dòng)態(tài)采集浊打、本地搜索、文本分析嫉彻、專(zhuān)題數據庫管理和大數據分布式處理平臺叶捕。支持微博、新聞亚湾、論壇等多種數據采集方式蹬逼,擁有基于B/S架構的統一的管理界面划腹。
2爪飘、 統一驗證和管理模塊:提供統一認證,統一登錄铅栽,統一的用戶(hù)管理齐唆、角色管理、權限管理;考慮到平臺的擴展性鹦恼、易維護性和用戶(hù)友好性掀抹,釆集、搜索信不、分析和專(zhuān)題庫管理系綠必須能夠作為子系統在統一的平臺上進(jìn)行維護孕蠕。支持對訪(fǎng)問(wèn)員進(jìn)行新增、修改钩浑、刪除幽七;支持基于身份證的快捷登錄和注冊。
3笔由、 樣本管理模塊:支持樣本庫功能菌仁,包含樣本導入、手工輸入等多種方式级遭; 支持對樣本的屬性自定義潦故;支持的樣本的追溯和訪(fǎng)問(wèn)歷史查詢(xún);支持樣本屬性回寫(xiě)痛趣;支持多種抽樣方法躁锡。
4、 ★新聞數據抓取模塊:支持多種互聯(lián)網(wǎng)數據源,支持關(guān)鍵字檢索條件,支持智能抓取相關(guān)網(wǎng)頁(yè)的文本內容和meta信息,提供提取新聞標題求谎、發(fā)布人巍沙、發(fā)布時(shí)間、新聞來(lái)源戚绕、內容、摘要碌冶、關(guān)鍵詞等信息。抓取的數據能夠存儲到數據庫或文件湖丸;能夠配置抓取線(xiàn)程的數量尊残,抓取時(shí)間間隔;支持斷點(diǎn)續抓檀蹋;對需要登錄的網(wǎng)站數據源,支持對Cookie的配置;數據的抓取的過(guò)程能夠實(shí)時(shí)顯示腋么。
5、 ★論壇數據抓取模塊:支持多種互聯(lián)網(wǎng)數據源,支持關(guān)鍵字檢索條件,支持智能抓取相關(guān)網(wǎng)頁(yè)的文本內容和背景數據,提供提取論壇文章的標題, 發(fā)布人、發(fā)布時(shí)間、內容、回復數量等信息核后。抓取的數據能夠同時(shí)存儲到數據庫和文件脆烟;能夠配置抓取線(xiàn)程的數量,抓取時(shí)間間隔措抒;支持斷點(diǎn)繼續;對需要登錄的網(wǎng)站數據源简十,支持對Cookie的配置;數據的抓取的過(guò)程能夠實(shí)時(shí)顯示。
6、 Facebook數據抓取模塊:支持公共主頁(yè)、FanPage昭雌、搜索時(shí)間范圍等檢索條件,能夠提取Facebook內容些阅、發(fā)布時(shí)間、回復數量家夺、發(fā)帖人信息等數據。抓取的數據直接存儲到數據庫骄蝇;能夠配置抓取線(xiàn)程的數量,抓取時(shí)間間隔潦倒;支持斷點(diǎn)續抓;支持配置多個(gè)賬號同時(shí)抓扔芾伞;數據的抓取的過(guò)程能夠實(shí)時(shí)顯示窝赛。
7、本地數據搜索模塊:內置搜索引擎衣蓉,能夠對釆集的文本的標題、內容進(jìn)行索引迎膜,建立本地快照,提供方便的搜索界面;檢索出結果后炊邦,能夠査看網(wǎng)頁(yè)內容。(1)系統集成:作為子系統能集成到統一的大數據研究云平臺战捏,共享云平臺的統一管理功能。(2)文本索引:在文本抓取后撩银,能夠對文本的標題、內容進(jìn)行分詞稿械,并建立專(zhuān)業(yè)的文本索引庫。(3)本地檢索:抓取的文本以文件形式存儲在服務(wù)器猛们,同時(shí)將常用信息存儲到數據庫,系統通過(guò)索引表能夠快速檢索到文本套么,并能夠査看文本的網(wǎng)頁(yè)內容。(4)高級檢索:支持根據組合條件查詢(xún)本地存儲的文本闯萎。
8、 數據導入導出模塊:采用統一的數據庫世澜,可導入導出項目,數據可導出 Excel, SPSS, CSV, TXT等多種文件類(lèi)型挑宠。
9、 專(zhuān)題數據庫管理模塊:提供了對各類(lèi)特定專(zhuān)題的數據庫進(jìn)行管理和維護, 能夠實(shí)現數據的安全共享、在線(xiàn)查詢(xún)。(1)專(zhuān)題庫管理:對專(zhuān)題庫進(jìn)行增刪改;支持專(zhuān)題庫的合并;支持專(zhuān)題庫內容的清洗;支持專(zhuān)題庫的導入導出;支 持專(zhuān)題庫備份還原固偷。(3)專(zhuān)題庫查詢(xún):在線(xiàn)查詢(xún)專(zhuān)題庫中的文本內容诞只。(4) 專(zhuān)題庫統計:匯總專(zhuān)題庫中的文本數量情況。(4)兼容性:支持MySQL, SQL Server, Oracle等多種數據庫。
輿情大數據存儲系統 1、支持線(xiàn)性擴展性能谤变。“完全不共享”體系和并行査詢(xún)優(yōu)化可以確保線(xiàn)性擴展性能和容量,將其擴展到成本上千個(gè)節點(diǎn)和處理器內核。
2、支持MapReduce。借助恒華大數據實(shí)訓室平臺智能分析套件,各個(gè)企業(yè)可以在內部使用MapReduce技術(shù)。
3、支持SQL標準工腋。通過(guò)SQL 2003 0LAP控制功能全面支持SQL-92和SQL-99。 所有查詢(xún)信息都并行地在整個(gè)系統上執行谓娃。
4、支持統一分析處理「模可以在同一個(gè)并行數據流引擎上執行所有查詢(xún)和分析(SQL、MapReduce、R等)操作馏谨,從而允許分析人員、開(kāi)發(fā)人員和統計人員使用同一個(gè)基礎構架進(jìn)行數據分析。
5柑麸、支持可編程并行分析。為從事運算和統計工作的人員提供了更先進(jìn)的并行分析功能玄组,支持R、線(xiàn)性代數和機器學(xué)習功能。
6炊苫、支持數據庫內壓縮。釆用了業(yè)內領(lǐng)先的壓縮技術(shù),提高性能的同時(shí)脊凰,顯著(zhù)地減少存儲數據所需的空間。客戶(hù)可以將所用空間減少3-10倍嗡善,并提高有效的I/O性能。
7、★支持千萬(wàn)億字節規模的數據加載操作行楞。高性能的并行數據裝載器可以在所有節點(diǎn)上詞步執行操作,裝載速度超過(guò)4.5TB/小時(shí)。
8识诽、支持隨地訪(fǎng)問(wèn)數據。不管數據的位置、格式或存儲介質(zhì)如何揍移,都可以從數據庫向外部數據源執行查詢(xún)操作,并行向數據庫返回數據。
9兆蕉、支持動(dòng)態(tài)擴展幫助學(xué)校對數據倉庫進(jìn)行便捷的小規模或大規模擴展,同時(shí)避免高成本的設備或SMP服務(wù)器升級安寺。
10、支持工作負載管理。允許管理人員創(chuàng )建基于角色的資源隊列对途,以便劃分資源和管理系統負載。
11、支持集中管理。提供集群級管理工具和資源棋耘,幫助管理人員像管理一臺服務(wù)器一樣管理整個(gè)恒華大數據實(shí)訓室平臺智能分析平臺。
12、★支持性能監控兄哲。通過(guò)圖形化的性能監控功能,用戶(hù)可以確定當前運行的情況和歷史查詢(xún)信息,并跟蹤系統使用情況和資源信息枕赵。
13、支持索引:恒華大數據實(shí)訓室平臺智能分析套件支持二叉搜索樹(shù)、哈希、位圖馁启、GiST和GIN,從而能夠實(shí)現多種索引功能,提供給數據架構師實(shí)施優(yōu)化設計所必需的工具。
14微饥、工業(yè)標準接口。支持標準數據庫接口(SQL、ODBC、JDBC、DBI),并且可以與市場(chǎng)上先進(jìn)的商務(wù)智能和抽取/轉換/加載(ETL)工具互相操作。
輿情大數據分析系統 1抑驹、支持對采集的文本內容進(jìn)行文本分析,利用自然語(yǔ)言處理(NLP)對文本進(jìn)行分詞,詞性標注和詞頻統計。平臺可集成多個(gè)中文處理引擎泡躯;支持結合系統和用戶(hù)自定義的詞七字典庫進(jìn)行各類(lèi)詞頻分析、情感分析等。
2、系統集成:能夠集成到網(wǎng)絡(luò )輿情云平臺系統中冶腮,共享云平臺的統一管理功能。
3、文本分詞:利用自然語(yǔ)言處理(NLP)分詞算法對文本進(jìn)行分詞相叁,詞性標注凝攻;支持選擇不同的分詞算法商城;支持系統和用戶(hù)自定義的詞匯字典庫蓉举。
4宽绳、★詞頻統計:支持對單篇文章分好的單詞進(jìn)行詞頻統計;支持批量詞頻統計;支持根據數據源、日期、地域等條件對所有文本進(jìn)行詞頻統計咬腕。
5节虹、 數量統計:支持根據數據源桩态、日期唁毒、地域等條件對有文本進(jìn)行數量統計铭乾。
6珊随、文本分類(lèi):根據一個(gè)訓練集团秽,對新的文本進(jìn)行數據分文本聚類(lèi)镀裤;在沒(méi)有訓練集的情況下描融,根據算法對所有類(lèi)分類(lèi)瓤湘。
7赚兰、文本聚類(lèi):在沒(méi)有訓練集的情況下军笑,根據算法對所有文本進(jìn)行聚類(lèi)分析烂秘。
8、★情感分析:支持根據情感字典庫來(lái)判斷某一個(gè)文章的正負翻譯霹期。
輿情大數據展現系統 分析實(shí)際存在的任何結構化數據,在幾分鐘內生成圖表、坐標圖、儀表盤(pán)與告渣玲。
▲利用拖放式界面,自定義視圖室樱、布局惑舶、形狀站叼、顏色等等,幫助展現自己的數據視角。
▲適用于多種數據文件與數據庫俺猿。
數據可擴展性括诉,不限處理的數據大小唯袄。
提供免費的現場(chǎng)或按需在線(xiàn)培訓弃秆。
提供無(wú)需用戶(hù)編寫(xiě)自定義代碼嗦蜀,自定義配置的控制臺桌偎。
在控制臺上能夠監測信息,提供完整的分析能力。
控制臺靈活沽洗,具有高度的動(dòng)態(tài)性司陋。
▲可以將數據運算與可視化結合州炫,實(shí)現拖拽式自動(dòng)創(chuàng )建圖表袜瞬,將同一數據以多種圖表自由呈現,實(shí)現從多個(gè)不同維度洞察數據所反映的業(yè)務(wù)重點(diǎn)帮辟。?
在用戶(hù)的信任環(huán)境中自由查看數據练朋,不受限于預定義的問(wèn)題澄步、向導或圖表類(lèi)型
數據受到規管和保護值骇,安全連接到本地或云中的任何數據源。
發(fā)布和共享數據源,供所有被授權人使用胸囱。
可使用熱門(mén)的企業(yè)數據源鸯斯,如Cloudera Hadoop舱污、Oracle、AWS Redshift、多維數據集、Teradata樊展、Microsoft SQL Server等⊥匝纾可通過(guò)Web數據連接器和API可訪(fǎng)問(wèn)更多自定義數據源。
集中管理所有元數據和安全規則。為用戶(hù)提供共享的、組織化的數據來(lái)源。與Active Directory牡芽、Kerberos眠砾、OAuth等成熟標準協(xié)議無(wú)縫集成旭绝。管理用戶(hù)級別和組級別的身份驗證。傳遞數據連接權限和行級篩選,維護數據庫的安全。利用多租戶(hù)選項和細粒度的權限控制,保證用戶(hù)和內容的安全靈活部署,提供詳盡的監控和管理平臺施式,確保易于部署、縮放和監視。
輕松跟蹤和管理內容、用戶(hù)、許可證和性能。
快速管理數據源和內容的權限虽捺,并直觀(guān)地監視使用情況。
向現有的商業(yè)門(mén)戶(hù)嵌入交互式儀表盤(pán)军裂,包括SalesforceSharePointJive等應用程序垛墙。
▲在會(huì )議、現場(chǎng)或出行中立即獲取答案。將儀表板發(fā)布后,團隊成員即可使用任意瀏覽器或移動(dòng)設備安全地進(jìn)行訪(fǎng)問(wèn)队询。直接在瀏覽器中創(chuàng )作新工作簿,以新的方式使用數據。
實(shí)時(shí)在線(xiàn)數據和離線(xiàn)數據方式切換:可實(shí)現在超快提取數據和實(shí)時(shí)連接數據之間無(wú)縫切換。還可計劃按所需頻率自動(dòng)進(jìn)行數據提取刷新。數據連接發(fā)生故障時(shí)可獲得自動(dòng)警報。可通過(guò)設置訂閱隨時(shí)獲得所需的數據。
▲可將數據存在本地服務(wù)器還云端,本地$裝需實(shí)現防火墻保護下的完全控制;也可部署在Amazon AWS、Microsoft Azure或阿里云等公共云服務(wù)平臺菌秘。
★與商業(yè)智能分析系統同一品牌,可對接后將商業(yè)智能分析系統完成的任意數據分析項目通過(guò)采購人私有的服務(wù)器提供基于web的展示和在線(xiàn)實(shí)施重計算仗鸥。
提供≥10種不同的角色權限劃分勤夷。
商業(yè)智能分析軟件 有強迫用戶(hù)編寫(xiě)自定義代碼干泼,新的控制臺也可完全自定義配置。在控制臺上,不僅能夠監測信息融色,而且還提供完整的分析能力。控制臺靈活,具有高度的動(dòng)態(tài)性。
將數據運算與美觀(guān)的圖表完美地嫁接在一起。程序容易上手跪态,可以用它將大量數據拖放到數字“畫(huà)布”上,轉眼間就能創(chuàng )建好各種圖表。這一軟件的理念是,界面上的數據越容易操控,對自己在所在業(yè)務(wù)領(lǐng)域里的所作所為到底是正確還是錯誤,就能了解得越透徹斥橱。10個(gè)用戶(hù)授權;提升數據潛力;擴大整個(gè)組織內的數據價(jià)值。在信任環(huán)境中自由査看數據沾倡,不受限于預定義的問(wèn)題、向導或圖表類(lèi)型,推進(jìn)業(yè)務(wù)進(jìn)步。而且數據受到規管和保護刑然, 讓您高枕無(wú)憂(yōu)。安全連接到本地或云中的任何數據源。發(fā)布和共享數據源晰亩,供所有人使用。使用熱門(mén)的企業(yè)數據源,如ClouderaHadoop黑躲、Oracle、AWS Redshift、多維數據集屹蚊、Teradata、Microsoft SQL Server 等蛔柏。我們的Web數據連接器和API可訪(fǎng)問(wèn)數百個(gè)其他數據源。
數據對人的意義,準確可信:
嚴格管理,無(wú)需妥協(xié)。集中管理所有元數據和安全規則陪东。為用戶(hù)提供共享的、 組織化的數據來(lái)源。了解使用情況以?xún)?yōu)化環(huán)境浮入。恰當平衡用戶(hù)靈活性和掌控力。為您保駕護航,無(wú)論使用的是Active Directory、Kerberos遍希、OAuth還是其他標準,Tableau都可與您的現有安全協(xié)議無(wú)縫集成。管理用戶(hù)級別和組級別的身份驗證术浪。傳遞數據連接權限和行級篩選,維護數據庫的安全部连。利用多租戶(hù)選項和細粒度的權限控制,保證用戶(hù)和內容的安全靈活部署,無(wú)論是將數據存在本地還是云端标蛀,Tableau Server都能讓您靈活集成到現有的數據基礎結構中。本地安裝可實(shí)現防火墻保護下的終極控制。借助AWS倡抱、 Azure或Google Cloud Platform實(shí)現公共云端部署,從而利用現有云端投資。強大的監控和管理平臺易于部署挺身、縮放和監視。輕松跟蹤和管理內容歌溉、 用戶(hù)、許可證和性能隶丁〉砉В快速管理數據源和內容的權限,并直觀(guān)地監視使用情況起真。準備就緒時(shí),即可縱向胶滋,哄烦、橫向擴展。將見(jiàn)解嵌入工作流炸宵,在員工、客戶(hù)楼熄、 合作伙伴和供應商所需之處進(jìn)行分析,提高業(yè)務(wù)能力践磅。向現有的商業(yè)門(mén)戶(hù)嵌入交互式儀表盤(pán),包括Salesforce棕骂、SharePoint和Jive等應用程序。
隨時(shí)隨地提出新問(wèn)題:
在會(huì )議、現場(chǎng)或出行中立即獲取答案皇降。將儀表板發(fā)布后,團隊成員即可使用任意瀏覽器或移動(dòng)設備安全地進(jìn)行訪(fǎng)問(wèn)。直接在瀏覽器中創(chuàng )作新工作簿覆享,以新的方式使用數據。
實(shí)時(shí)且存儲良好:
只需單擊一下,即可在超快提取數據和實(shí)時(shí)連接數據之間無(wú)縫切換沧疼。還可計劃按所需頻率自動(dòng)進(jìn)行數據提取刷新,兩全其美越除。數據連接發(fā)生故障時(shí)獲得警報。設置訂閱后眨攀,您就可以隨時(shí)獲得所需的數據。
PaaS云平臺 一脏潘、基于云平臺的管理軟件
1.?? 要求能夠合法用于企業(yè)云服務(wù)平臺基礎包,配置≥50個(gè)應用實(shí)例許可, 一個(gè)應用實(shí)例對應一個(gè)容器服務(wù)岛特。
2.?? 提供了命令行和內置的Web界面的2種靈活的管理方式。
3.?? 開(kāi)放平臺,支持不同的IaaS (基礎架構即服務(wù)),支持VMware vSphere 或是vCloud,支持OpenStack,支持AWSAzure等公有云上部署摧回。
4.?? 必須支持目前的PaaS應用平臺標準構建包(BuildPack),并且可以從 GitHub上下載的構建包丁帅,通過(guò)PaaS云系統可以自動(dòng)的部署在PaaS云上提供運行環(huán)境。
5.?? 應用負載均衡通過(guò)PaaS系統平臺內置的軟件Router[路由器]實(shí)現阔渔,支持websocketHTTP的路由,支持Router的集群和負載均衡条肢。
6.?? 平臺基于Gardon進(jìn)行容器調度編排,支持Docker容器及kubernetes等調度編排軟件的對接。
7.?? ▲PaaS平臺必須支持操作系統容器技術(shù)一Gardon,實(shí)現基于Linux Container的應用平臺容器含涝,能夠提供Linux應用的運行容器。應用容器必須實(shí)現資源隔離剪莲,如CPU資源隔離倦春、內存資源隔離琅瘦、存儲資源隔離、網(wǎng)絡(luò )資源隔離,要求能避免一個(gè)應用把CPU跑滿(mǎn)就影響其他應用容器的CPU分配,嚴格限定沒(méi)有容器的CPU使用額度,避免一個(gè)應用把磁盤(pán)占滿(mǎn)等情況。投標時(shí)提供軟件截圖
8.?? 支持基于多租戶(hù)組織架構的資源配額分配,不同的組織架構可以分配不同的資源配額,比如CPU、內存、存儲空間等。各個(gè)租戶(hù)組織在進(jìn)行應用部署和彈性伸縮的時(shí)候不能突破資源配額穆创。
9.? ?支持組織架構的定義,項目space的定義,更方便的進(jìn)行權限和資源管 理狰右,支持團隊開(kāi)發(fā)和應用全生命周期的管理柿赊。
10. 應用的依賴(lài)的庫陷豪、應用平臺等打成一個(gè)符合Gardon運行要求的包。
11. PaaS平臺內置Stager實(shí)現應用的自動(dòng)打包,能夠對應用進(jìn)行特定檢査確定應用平臺婴悠,同時(shí)能自動(dòng)下載應用所缺的依賴(lài)庫恰磷、包等,把應用代碼蔓意、應用的依賴(lài)的庫查蓉、應用平臺等打成一個(gè)符合Gardon運行要求的包预鬓。
12. PaaS平臺內置Stager要求實(shí)現并行的應用打包和應用的自動(dòng)化部署;
13. 支持針對應用的定制域,并可以定制子域,通過(guò)路由器和域的定制星般,實(shí)現應用域名的定制格嗅,多租戶(hù)應用可以針對每個(gè)租戶(hù)定制域名或是子域名沮榜。
14. PaaS應用平臺應包括主要部件如云控制器(平臺大腦)、消息傳輸總線(xiàn)(從各個(gè)部件和應用收集信息的神經(jīng)系統)鼻肉、軟件路由器、應用組裝器烤黍、應用平臺構建包、健康度管理器、服務(wù)中介、存儲庫等娜氏。
15. 支持主要部件的高可用性(HA),比如控制器、健康度管理中心和消息總線(xiàn)等。
16. 除了以上高可用性的部件,其他部件支持集群,可以隨時(shí)通過(guò)管理工具動(dòng)態(tài)的增加部件的運行實(shí)例數,比如云控制器旧伺、軟件路由器、應用組裝器伴挚、服務(wù)中介等。
17. 提供Web Service,對應用平臺二跋、部署、服務(wù)的Web運維管理滨于,即應用和服務(wù)管理門(mén)戶(hù)朗玩。
18. ▲服務(wù)監控:展示用戶(hù)所使用的基礎服務(wù)的當前運行數據昌锤,包括:服務(wù)類(lèi)型、廠(chǎng)商信息趣孩、版本號、狀態(tài)朴客、綁定地址、活動(dòng)實(shí)例等,投標時(shí)提供軟件截圖。
19. 支持各種服務(wù)資源管理功能:
a)資源使用的伸縮性:應用對資源池、基礎平臺服務(wù)的使用采用彈性管理衰锭,用戶(hù)根據應用的SLA要求實(shí)現資源的自動(dòng)伸縮和媳,SLA要求比如業(yè)務(wù)并發(fā)量尉利、web頁(yè)面的平均反應時(shí)間,CPU平均利用率等遮木,比如平均Web頁(yè)面時(shí)間超過(guò)3秒就彈性伸縮惜轴,那么系統通過(guò)動(dòng)態(tài)路由器檢測到某應用的平均Web頁(yè)面的反應時(shí)間超過(guò)3秒,就通知云控制器增加應用運行的實(shí)例數,同時(shí)把請求分發(fā)到新的應用實(shí)例上哭落。如果Web頁(yè)面的平均反應時(shí)間小于1秒吩抓,就通知云控制器減少應用運行的實(shí)例數,不再把請求分發(fā)給某個(gè)應用實(shí)例栗洲,等這個(gè)應用實(shí)例上的Web請求全部處理了尉剩,就關(guān)閉此應用實(shí)例。
b)高可用保障:服務(wù)在集群環(huán)境的多個(gè)節點(diǎn)部署,各個(gè)模塊有可靠的通信和監測機制,使得服務(wù)能夠穩定可靠運行腺蜗,即便出現單點(diǎn)故障,也不影響整體服務(wù)的可用性沿晨。
c)負載均衡能力:系統可以實(shí)現請求以負載均衡方式自動(dòng)分配到多個(gè)實(shí)例上慌血,隨負荷的變化情況自動(dòng)增加或者減少實(shí)例的提供。
20.? 支持應用部署及監控集成等功能。平臺自身應具備完善的監控機制,能夠對部署的應用萝映、基礎服務(wù)等做有效性跟蹤,除了提供console供聚合平臺運維使用掰凳,還需要與平臺門(mén)戶(hù)做集成,用戶(hù)可在門(mén)戶(hù)中直接監測應用服務(wù)狀況瞄茁。包括:
a)應用部署:在用戶(hù)門(mén)戶(hù)提供應用部署界面,包括應用部署環(huán)境的定制等功能航丙。
b)托管應用監控:展示應用的部署和運行數據吐梗,包括:所在空間、狀態(tài)、內存使用揖帕、磁盤(pán)使用、運行框架、路由地址便螟、活動(dòng)實(shí)例等。
21. 平臺軟件的功能必須為同一家廠(chǎng)商提供畸悬,禁止借用第三方軟件的整合, 以保證功能的可兼容性和安全性。
二洁操、二、基于平臺的開(kāi)發(fā)工具
1.?? 平臺集成常見(jiàn)編程語(yǔ)言的IDE,支持程序的在線(xiàn)部署。
2.?? 支持代碼的在線(xiàn)編譯和測試修宝。
3.?? 基于Esclipse進(jìn)行二次開(kāi)發(fā)违寞。
4.?? 支持多種版本控制庫工具,如SVN嘀总、Git等。
5.?? 支持應用程序的可視化部署治企。
6.?? 配套持續集成工具,如Jenkins素勾、Concourse等。
7.?? 支持開(kāi)發(fā)微服務(wù)模式疚幔。
8.?? 提供虛擬化管理平臺API、SDK等接口宏赘,可以與第三方管理軟件結合或二次開(kāi)發(fā)。
三、三喻圃、基于云平臺的中間件軟件
1.? ▲提供平臺監控工具:如metics、APM、Spring lnght等監控工具仙丧,具備完整的可視化圖表。
2.? 消息傳送與隊列服務(wù):如RabbitMQ等符合AMQP業(yè)界規范的消息服務(wù)私怀。
3.? 分布式緩存服務(wù):如Redis等分布式緩存服務(wù)工具慈柑。
4.? 日志分析工具:如Logserch等日志處理和分析工具。
5.? PaaS平臺必須支持各種編程語(yǔ)言战震,包括Java、Ruby、Go、PHP、Nodejs、 Python渠啊、.NET 等語(yǔ)言。必須為 J2EE、Ruby、Python、Go PHP、Nodejs 等語(yǔ)言編寫(xiě)的應用提供運行環(huán)境支撐煎返。
6.? PaaS平臺必須支持各種開(kāi)發(fā)框架,包括:Spring for Java眶根、Ruby on Rails、 Sinatra、 Node.js、 Grails、 Scala on Lift、 PHP等
四区宇、四、基于云平臺的數據庫軟件
1.?? 1. 平臺必須支持各種基礎平臺服務(wù),包括:
a)?? ???a關(guān)系數據服務(wù):提供基于關(guān)系數據庫的數據存儲服務(wù),支持MySQL。
b)?? ???b)NoSQL數據服務(wù):如Redis等NoSQL持久化數據服務(wù)。
c)?? 2. 平臺支持關(guān)系型數據庫軟件的應用武氓,支持MySQL等數據庫将署。
d)?? 3. 平臺支持NoSQL數據庫的應用,支持MongoDB拟祖、Redis等NoSQL數據庫婆瓜。
e)?? 4. 支持各種數據服務(wù),如MongoDB, mySQL多節點(diǎn)版等。
內存數據庫 1.? 支持分布式部署安裝。在完全不依賴(lài)于其他產(chǎn)品的情況下完成部署和運 行,不受限于其他產(chǎn)品的強制性認證。
2.? 支持異地(多集群)多活數據中心部署。支持多數據中心集群間數據實(shí)時(shí)同步,支持基于廣域網(wǎng)數據同步的拓撲架構WAN-Gateway,靈活實(shí)現多種拓撲邏輯結構宾巍,支持多隊列并行傳輸以及隊列的持久化牛肩。
3.? 支持面向對象數據管理存儲。面向對象存儲與查詢(xún),包括自定義對象及子對象。通過(guò)對象査詢(xún)語(yǔ)言OQL提供類(lèi)似于SQL的査詢(xún)恭样,支持按對象屬性進(jìn)行查詢(xún),支持join査詢(xún)。
4.? GemFire支持與Greenplum,Oracle,Mysql,DB2等傳統關(guān)系型數據庫結合腻惠。
5.? GemFire作為應用系統讀取數據的唯一入口,支持數據寫(xiě)入時(shí)同時(shí)存入傳統???? RDBMS躯法。
6.? GemFire支持數據緩存,從其他傳統RDBMS讀取數據,緩存在內存中,供其 他需要數據的應用系統使用。
7.? 支持異步增量數據同步物即。支持后寫(xiě)的方式豁延,批量的寫(xiě)入到其他數據源或者數據中呈评,進(jìn)行數據的高速同步,支持釆用異步消息隊列的方式完成數據傳輸,釆用增量的方式傳輸數據的變化部分。
8.? 支持事件機制。捕獲處理數據的新建,更新刪除事件舟门,并自定義按照業(yè)務(wù)要求實(shí)現邏輯對這些事件進(jìn)行處理畴橡,實(shí)現企業(yè)消息總線(xiàn)的功能。通過(guò)持續查詢(xún)的方式實(shí)現對數據變化的事件觸發(fā)機制,并針對該事件完成后續的處理和通知等操作,實(shí)現復雜事件處理需求。
9.? ★支持數據持久化框都。支持將內存中的數據持久化到磁盤(pán)和關(guān)系型數據庫中。
10. 數據存儲容量。單集群最大可支持超過(guò)10T的數據量,單表內保存的記錄無(wú)上限,可以支持百億級別的記錄數。
11. ★支持Session管理跪腹。提供獨立管理Session內容悴晰,支持Tomcat,Tc Server, Appservers(weblogic, WebSphere等)辽近,可以把應用服務(wù)器進(jìn)行無(wú)狀態(tài)化或者云化改造,提升應用服務(wù)器的服務(wù)等級,支持spring session框架,便于應用代碼開(kāi)發(fā)。
12. 可靠的安全機制。GemFire內置安全認證機制,支持在多種環(huán)境下(節點(diǎn)間, 客戶(hù)端/服務(wù)器端,集群間)提供用戶(hù)訪(fǎng)問(wèn)的認證和授權機制怠噪。
13. 支持數據排序撞进、聚合宰翅、索引后匀、在線(xiàn)數據庫結構變更。GemFire通過(guò)OQL支持數據的排序闭腊、聚合,并支持索引對査詢(xún)進(jìn)行優(yōu)化涨给,支持在線(xiàn)通過(guò)GemHre 的命令行工具(GemFire Shell, GFSH)進(jìn)行數據結構的變化禽梧。
14. ★豐富的開(kāi)發(fā)平臺支持。Spring data gemfire提供與spring framework開(kāi) 發(fā)結合,支持原生JAVA、C++、C#開(kāi)發(fā)應用與GemFire接口對接,提供Restful API并支持json數據格式。
15. GemFire支持高可用性。高可用性和災難恢復確保持續的正常運行,多個(gè)故障檢測模型可檢測故障并迅速作出回應脓大,確保集群始終正常運行且數據集始終完整。
16. GeniFire支持自愈能力司陋。自愈能力能讓節點(diǎn)能在集群恢復運行后快速重新加入其中复荡,快速啟動(dòng)依疼、重新連接以及增量更新數據酌沥,所有操作均無(wú)需管理人 員干預。
17. ★支持分布式節點(diǎn)智能管理菌羽。一個(gè)集群中的節點(diǎn)之間自動(dòng)調整系統資源荷荤, 具體方法是在減少網(wǎng)絡(luò )流量的往返的同時(shí)肮疗,以智能方式管理數據的放置天证。數 據僅會(huì )復制到需要數據的節點(diǎn),訪(fǎng)問(wèn)請求則會(huì )使用可用的最直接路徑被智能 路由努溃。
18. 節點(diǎn)配置通過(guò)自動(dòng)冗余集中處理控驯,以獲得高可用性喇躲,新節點(diǎn)可在啟動(dòng)時(shí)從集中式配置管理器獲取配置,以快速加入集群i而無(wú)需執行額外系統管理任務(wù)淮阐。
19. ★GemFire集群支持在線(xiàn)增加和減少節點(diǎn)這樣的集群節點(diǎn)數量動(dòng)態(tài)變化的功能,同時(shí)在節點(diǎn)增加的情況下,還能保證整個(gè)系統的處理能力可以近似 線(xiàn)性增加。
20. 提供強大的系統管理工具。內置的GemFire Pulse可以提供在線(xiàn)的可視化 集群管理和監控功能,包括監控分布式系統內各成員的監控狀況,內存及磁 盤(pán)讀寫(xiě)的使用情況等。(投標時(shí)提供截圖)
21. 內置gfsh工具支持在線(xiàn)修改系統設定昧质,完成數據快照,數據備份恢復等。
22. GemFire有完整全面的JMX數據管理接口翔悠,可供jconcole或其他管理工具使用,VSD工具支持對系統運行的內部情況提供歷史追蹤分析功能。
23. 支持高性能高穩定的內存集群畅铭。高并發(fā)能夠支持10萬(wàn)TPS以上,并且延時(shí)穩定不會(huì )有明顯波動(dòng)岔冀。低延時(shí)針對lk數據,隨機讀取平均響應時(shí)間小于 lms,隨機寫(xiě)平均響應時(shí)間短于10ms。
24. 線(xiàn)性擴展系統在增加節點(diǎn)的時(shí)候查牌,性能的增加符合準線(xiàn)性效果,支持系統針對訪(fǎng)問(wèn)量增加情況下的運維和擴展。
25. 在高性能査詢(xún)1萬(wàn)并發(fā)事務(wù)下崔拥,支持査詢(xún)平均延時(shí)不超過(guò)l0ms,Insert, update,delete等常見(jiàn)事務(wù)平均延時(shí)不超過(guò)100ms。
26. 集群系統借助智能節點(diǎn)管理和數據備份機制,支持持續穩定連續運行,集群系統不存在單點(diǎn)故障現象。支持數據的自動(dòng)和手動(dòng)備份,以備數據恢復時(shí)使用。
27. ▲提供3年原廠(chǎng)(非OEM廠(chǎng)商)服務(wù),包含:5*12小時(shí)400電話(huà)技術(shù)支持,Email技術(shù)支持,版本升級服務(wù)等。
28. ▲平臺軟件的功能必須為同一家廠(chǎng)商提供禁止借用第三方軟件的整合,以保證功能的可兼容性和安全性。

蜀ICP備15035023號-4