1、產(chǎn)品概況
統(tǒng)一數(shù)據(jù)開發(fā)平臺是數(shù)據(jù)中臺能力的輸出源頭,是一組數(shù)據(jù)敏捷開發(fā)工具。數(shù)據(jù)開發(fā)平臺符合高校業(yè)務及技術(shù)特點,遵從全數(shù)據(jù)鏈路管理理念,為數(shù)據(jù)治理和數(shù)據(jù)應用賦能。統(tǒng)一數(shù)據(jù)開發(fā)平臺支持與中臺各組件的無縫對接,實現(xiàn)由元數(shù)據(jù)智能驅(qū)動的“設(shè)計”即“開發(fā)”,“所見”即“所得”的敏捷開發(fā)模式。從本質(zhì)上縮短數(shù)據(jù)價值體現(xiàn)周期,提升數(shù)據(jù)價值開發(fā)效率。
2、產(chǎn)品功能
圖:統(tǒng)一數(shù)據(jù)開發(fā)平臺功能模塊
統(tǒng)一數(shù)據(jù)開發(fā)平臺的主要功能包括:
- ?數(shù)據(jù)集成
數(shù)據(jù)集成工具,是基于 Web 的簡潔的集成平臺,支持與統(tǒng)一身份認證對接,支持與數(shù)據(jù)治理平臺的信息標準、元數(shù)據(jù)、數(shù)據(jù)血緣無縫對接,集成界面可以根據(jù)元數(shù)據(jù)設(shè)置顯示中文語義描述,大大降低了數(shù)據(jù)集成工作的技術(shù)壁壘。支持各類常用大數(shù)據(jù)、關(guān)系型數(shù)據(jù)、API接口數(shù)據(jù)、文本數(shù)據(jù)、消息數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的在線數(shù)據(jù)集成、交換。所有數(shù)據(jù)集成接口的開發(fā)定制均在web端通過拖拽實現(xiàn),無需編碼。它可以部署在校內(nèi)私有云或內(nèi)部數(shù)據(jù)中心,通過統(tǒng)一瀏覽器訪問提供數(shù)據(jù)線上集成服務,使用人員無需在本地安裝任何插件或客戶端。
工具充分考慮高校行業(yè)的特性,支持數(shù)據(jù)復制建表,支持批量生成接口,支持與數(shù)據(jù)治理平臺的雙向同步,支持批量生成數(shù)據(jù)接口,支持人工智能自動構(gòu)建數(shù)據(jù)字段映射等,大大降低了數(shù)據(jù)交換時間成本和運維成本。
圖:數(shù)據(jù)集成工具
數(shù)據(jù)集成工具自動記錄所有集成過程和數(shù)據(jù)操作,為數(shù)據(jù)治理平臺和前臺數(shù)據(jù)應用提供數(shù)據(jù)血緣和數(shù)據(jù)影響分析資料。
- 日志處理
日志處理工具是基于Hadoop、ElasticSearch、ClickHouse分布式存儲的一站式日志處理工具,對不同日志源 (包括Windows系統(tǒng), Unix/Linux系統(tǒng), 應用程序, 路由器, 防火墻等)所產(chǎn)生的日志進行收集,實現(xiàn)日志的集中統(tǒng)一管理和存儲,具有實時檢索、查詢分析、監(jiān)控告警能力,并提供計算引擎(流式計算、批量計算)對數(shù)據(jù)做進一步的加工處理。
作為統(tǒng)一的日志處理中心,集中處理高校各類流式非結(jié)構(gòu)化日志信息,這些數(shù)據(jù)可以來自任何能產(chǎn)生日志的地方,如網(wǎng)絡探針采集的日志信息、設(shè)備日志信息、應用服務器產(chǎn)生的日志信息等,相關(guān)人員可以對這些日志進行檢索與分析,從而更快的定位問題,并且持續(xù)挖掘數(shù)據(jù)價值。
圖:日志處理工具
對于采集的日志,工具可以引用對應的數(shù)據(jù)解析模板,對數(shù)據(jù)進行二次計算,通過設(shè)置不同的預警規(guī)則,實現(xiàn)日志數(shù)據(jù)的價值輸出,比如通過門禁日志、一卡通消費日志、流控日志來定位可能不在校的學生,通過日志來分析學生之間的關(guān)系、孤獨指數(shù)等。
日志處理基于分布式系統(tǒng)完成,能夠與關(guān)系型數(shù)據(jù)庫自動關(guān)聯(lián)實現(xiàn)實名化、業(yè)務化需求,日志可基于內(nèi)存提供快速、實時的計算和結(jié)果輸出能力,支持前端日志搜索、與數(shù)據(jù)分析組件無縫對接,支持自定義輸出日志相關(guān)報表、圖表,實現(xiàn)數(shù)據(jù)資產(chǎn)的統(tǒng)一可視化輸出。
- 智能填報
智能填報工具建設(shè)將以“服務”為主旨,基于全域數(shù)據(jù)中心快速構(gòu)建校內(nèi)的表單數(shù)據(jù)填報服務,快速構(gòu)建圍繞對象(教師、學生、資產(chǎn))的無源信息采集業(yè)務。通過“一張表”代替單個或多個審批事項的多個申請表格、材料,采用“數(shù)據(jù)自動填報+表單流轉(zhuǎn)審批”的手段,實現(xiàn)各類事項及業(yè)務辦理申請“一張表辦成事”、“數(shù)據(jù)多跑路,師生少跑腿”的信息化服務模式。
圖:智能填報工具
智能填報工具采用輕量級移動化體系進行系統(tǒng)構(gòu)建,可以通過可視化的界面,快速定制各類通用表單(例如:健康打卡、在線調(diào)研、活動報名等)和業(yè)務報表(教職工職稱申報、教師崗位聘任、年底工作考核等)。用戶端可以快速實現(xiàn)報表的自助填報,解決重復填寫已有信息的問題。能夠與學校身份認證、微信企業(yè)號、WeLink號、釘釘?shù)绕脚_無縫對接,實現(xiàn)實名填報。
圖:報表編輯
總之,報表工具的在線敏捷開發(fā)能力,能夠為管理部門或業(yè)務主管提供一站式數(shù)據(jù)報表設(shè)計器,支撐報表持續(xù)性建設(shè),為師生梳理提供自動化報表服務。報表提供歷史填表版本管理,記錄填報歷史,完善填報周期,采用以數(shù)據(jù)為牽引、內(nèi)容為導向的建設(shè)方式,做到數(shù)據(jù)不丟、不斷。
- 數(shù)據(jù)分析
數(shù)據(jù)分析工具,提供各類在線數(shù)據(jù)可視化敏捷開發(fā)的能力,快速構(gòu)建數(shù)據(jù)查詢、數(shù)據(jù)分析主題,提供即席分析、數(shù)據(jù)大屏分析、數(shù)據(jù)分析報告輸出等能力。在數(shù)據(jù)分析能力方面,能夠滿足手機、PAD等移動終端訪問以及大屏可視化,可分類提供領(lǐng)導駕駛艙功能,為不同領(lǐng)導在其主管領(lǐng)域內(nèi)的業(yè)務決策提供支持。支持各類主流、常用、定制化的數(shù)據(jù)可視化組件,包括氣泡云圖、?;鶊D、漏斗圖、全國地圖、南丁格爾玫瑰圖、GIS 區(qū)域地圖、矩形樹圖、餅圖、 熱點圖、TOP條形圖、關(guān)系圖等多種生動豐富的展現(xiàn)形式,并支持圖形一鍵切換。
圖:數(shù)據(jù)分析工具
- 規(guī)則引擎
規(guī)則引擎是針對高校大數(shù)據(jù)應用特點,基于底層大數(shù)據(jù)分布式計算框架所自主研發(fā)的高校通用數(shù)據(jù)計算平臺。通過規(guī)則引擎可以實現(xiàn)校級指標的快速計算,形成校級KPI庫,針對個人數(shù)據(jù)提供個人KPI庫定制,提供個性化的、動態(tài)的標簽計算能力,滿足大數(shù)據(jù)分析不斷增長的數(shù)據(jù)標簽需求;針對數(shù)據(jù)庫提供各類數(shù)據(jù)質(zhì)量檢測規(guī)則,形成標準化規(guī)則接口,供校內(nèi)其他業(yè)務系統(tǒng)使用;工具能夠依據(jù)數(shù)據(jù)挖掘標準算法(時間序列、回歸、Kmeans等),結(jié)合高校行業(yè)特征,形成學業(yè)預警、貧困生預警、虛假貧困預警、不在校預警等校園定制化算法。
圖:規(guī)則引擎工具
3、產(chǎn)品特色
統(tǒng)一數(shù)據(jù)開發(fā)平臺與傳統(tǒng)數(shù)據(jù)開發(fā)中間件相比最大的優(yōu)勢在于:
- 所有能力匯聚在一個獨立、完整的私有云系統(tǒng)內(nèi),開發(fā)效率高;
- 支持分布式部署,運行穩(wěn)定,在近百所高校的場景驗證下,性能表現(xiàn)極佳;
- 所有模塊開發(fā)無需二次建模,均能夠與數(shù)據(jù)治理平臺的元數(shù)據(jù)、信息標準無縫對接,大大提升數(shù)據(jù)規(guī)范和操作一致性;
- 基于全數(shù)據(jù)鏈路的架構(gòu),實現(xiàn)所有開發(fā)成果的自動數(shù)據(jù)溯源、自動對接數(shù)據(jù)質(zhì)量反饋、自動匹配關(guān)聯(lián)歷史數(shù)據(jù)、自動實現(xiàn)影響性分析,做到全時無死角的鏈路監(jiān)控;
- 所有模塊均可與云端知識庫無縫對接,可以為每個學校提供大量的數(shù)據(jù)治理、數(shù)據(jù)開放、數(shù)據(jù)開發(fā)和數(shù)據(jù)應用的素材,從本質(zhì)上降低工具落地、上手難度。