科技數據統計分析平臺.采用分布式網(wǎng)絡(luò )數據采集系統為某省科技廳實(shí)現企業(yè)庫灸继、政策庫锤塘、項目庫的建設,從而建設科技數據統計分析平臺。

科技數據統計分析平臺


采用分布式網(wǎng)絡(luò )數據采集系統為某省科技廳實(shí)現企業(yè)庫项玛、政策庫、項目庫的建設,從而建設科技數據統計分析平臺。

探碼科技數據統計與分析

案例展示

項目背景

隨著(zhù) “大數據”的發(fā)展缩髓,科技管理工作呈現出管理主體多樣性和科研需求個(gè)性化的趨勢碴验。在“數據”本身成為一種公共資源的情況下,科技管理需要一種創(chuàng )新的模式來(lái)滿(mǎn)足時(shí)代發(fā)展的需求铲桑,“數據”將在這種發(fā)展中起到支撐作用,為科技管理工作和社會(huì )科研工作提供分析、決策與評估依據,進(jìn)一步提升全社會(huì )的科技創(chuàng )新能力。同時(shí),“數據”在實(shí)現政府決策科學(xué)化,推動(dòng)政府治理能力現代化方面也發(fā)揮著(zhù)重要作用。

該平臺的建設將加快信息化與科技業(yè)務(wù)的深度融合,有利于全區經(jīng)濟社會(huì )發(fā)展與改革要求,有利于科技管理工作更加高效,有利于優(yōu)化科技服務(wù)水平。平臺建成后將推動(dòng)形成基于大數據的科學(xué)決策,實(shí)現精細化科技管理,增強科技創(chuàng )新引領(lǐng)能力。

政務(wù)數據資源是國家數據資源的重要組成。加快推動(dòng)政務(wù)數據共享工作,是轉變政府職能、創(chuàng )新社會(huì )管理的重要舉措敲楞,有利于全面釋放數據紅利。《自治區加快推進(jìn)“數字政府”建設工作方案》中明確要求加強數據資源規劃、采集、存儲掐周、共享、開(kāi)放,加強數據治理犹葵,提升數據質(zhì)量和價(jià)值,構建全區共建共享的大數據資源體系。

需求分析

需求對象:各省地市州區縣科技信息化中心、經(jīng)濟信息中心、雙創(chuàng )辦、科技成果轉化處

需求目標:

  • 深入了解本省市州區的科技管理信息系統和科技統計工作的業(yè)務(wù)特性,全面梳理基礎數據,整理全套規范樣表;
  • 分析各項指標采盒,理清數據關(guān)聯(lián)性,制定數據清洗規范;
  • 建設科技數據平臺框架,整合不同類(lèi)型數據源就珠,打通業(yè)務(wù)系統數據接口,建立數據匯聚通道;
  • 通過(guò)構建統一的科技數據交換、存儲揍鸟、共享、應用接口等標準體系,構建匯聚式一體化的科技數據倉拒旺。

項目展示

探碼結合自身優(yōu)勢,充分發(fā)揮在大數據領(lǐng)域數據采集、數據分析、數據治理方面的數據積累和產(chǎn)品應用能力,調研100多個(gè)數據源平臺记脆,采集上萬(wàn)條科技政策數據,聚合6萬(wàn)多企業(yè)工商基礎信息,成功完成了科技數據統計與分析平臺。

科技廳統計與分析平臺Demo截圖

本次項目深入了解科技管理信息系統和科技統計工作的業(yè)務(wù)特性,全面梳理基礎數據应狱,整理全套規范樣表。分析各項指標,理清數據關(guān)聯(lián)性垫死,制定數據清洗規范。建設科技數據平臺框架,整合不同類(lèi)型數據源点铅,打通業(yè)務(wù)系統數據接口,建立數據匯聚通道。通過(guò)構建統一的科技數據交換瘫羡、存儲、共享、應用接口等標準體系引几,構建匯聚式一體化的科技數據倉

六大子系統必搞,十四個(gè)功能模塊

本項目涉及到科技廳內外部各種多源數據,需通過(guò)“數據共享交換系統”實(shí)現: 數據共享交換、目錄管理服務(wù)、共享數據管理伤刑、共享業(yè)務(wù)管理。具體有以下幾個(gè)方式實(shí)現:

  • a)?? ?基于SQL 接口、XML憨净、Web ?Service、消息中間件等技術(shù)政勃,實(shí)現與關(guān)聯(lián)系統的數據交換接口開(kāi)發(fā)。
  • b)?? ?實(shí)現與科技廳內部已建成的信息管理系統或數據庫系統的接口開(kāi)發(fā)和互聯(lián)互通。
  • c)?? ?平臺還需預留與自治區政府(如區政府信息中心、區數據資源局)、省科技廳腻窒、市縣區科技管理部門(mén)的業(yè)務(wù)系統互聯(lián)互通接口(待條件成熟時(shí),便于實(shí)現各級科技業(yè)務(wù)系統實(shí)現縱向的數據交換、資源共享煞怔、互聯(lián)互通)。
  • d)?? ?后期根據發(fā)展需要,還需與橫向其他委辦局(如財政募狂、工商、稅務(wù)断盛、監察、人社等政府部門(mén))的相關(guān)系統實(shí)現數據對接叮臊。
  • e)?? ?通過(guò)爬蟲(chóng)技術(shù),實(shí)時(shí)爬取和關(guān)聯(lián)外部數據,保證科技數據倉數據的實(shí)時(shí)性陪现。

技術(shù)解析

探碼分布式網(wǎng)絡(luò )數據采集系統介紹:系統實(shí)現數據從采集彤恶,處理到應用的全生命周期管理;另類(lèi)數據妆毕,網(wǎng)頁(yè)解析及采集自動(dòng)化。針對互聯(lián)網(wǎng)數據抓取痛趣、處理、分析肋演、挖掘桂邢,并靈活迅速地抓取網(wǎng)頁(yè)上散亂分布的信息,通過(guò)智能數據中心提供存儲與計算,利用網(wǎng)頁(yè)應用服務(wù)器和開(kāi)放平臺服務(wù)器進(jìn)行大數據存儲、管理以及挖掘服務(wù)迟摹,平臺服務(wù)器居中調節,實(shí)現大數據的智能化分析鹅棺,準確挖掘出所需數據湿咙。

通過(guò)詳細的需求分析,該省科技廳數據統計分析平臺其核心目的是建設科技數據倉,采用探碼分布式網(wǎng)絡(luò )數據采集平臺魁巩,建設了政策庫、企業(yè)庫刷裂、項目庫等科技數據倉姐驼,基于科技數據倉的數據實(shí)現以下建設內容:

  • 政策庫建設

通過(guò)探碼采集系統采集本省各類(lèi)的科技申報政策滔测,儲存建立龐大的本省科技政策庫蜀干。

  • 企業(yè)庫建設

通過(guò)對企業(yè)公開(kāi)數據的采集,以及調用權威工商平臺的API接口數據,建設含有企業(yè)工商信息乒咳、經(jīng)營(yíng)狀況、知識產(chǎn)權信息悄晃、法律糾紛困暴、品牌傳播等信息的本地區企業(yè)庫。

  • 政策分類(lèi)篩選解讀管理

通過(guò)人工的初步分析,制定相應的算法對政策數據進(jìn)行分類(lèi)皱碘。同時(shí)結合平臺智能文字處理系統對采集到的政策信息逐條進(jìn)行解讀,保存政策的基本條件(包括企業(yè)資產(chǎn)簸寥、所在地區,法人,所屬產(chǎn)業(yè),經(jīng)營(yíng)范圍)憔萎,用于企業(yè)和政策的基本匹配。分級保存政策的一級脱刷,二級穆碎,三級條件嚎芽,逐步引導用戶(hù)完善企業(yè)信息,更準確地匹配相關(guān)政策牺荠,給企業(yè)的決策提供最可靠的幫助亩组。

  • 政策和企業(yè)的匹配管理

企業(yè)與政策基本屬性關(guān)系表,保存公司通用的基本屬性,如注冊資金,注冊地址,注冊時(shí)間等關(guān)鍵屬性决侈∠宦牛基本關(guān)系表在公司或政策信息進(jìn)入數據庫的同時(shí)自動(dòng)完成填寫(xiě),并根據公司或政策的相應變動(dòng)惩呕。

  • 系統控制臺管理模塊

系統控制臺管理模塊完成該科技廳數據統計分析平臺的啟動(dòng)、停止撤摘、備份漠蔑、恢復,以及重新啟動(dòng)、注銷(xiāo)登錄用戶(hù)等功能,實(shí)現對企業(yè)庫蚯舱、政策庫徊姆、項目庫的管理卧断。

?

蜀ICP備15035023號-4