10月27-28日，由高校畢業(yè)生就業(yè)協(xié)會(huì)主辦，江南大學(xué)、江蘇信息職業(yè)技術(shù)學(xué)院等承辦的高校畢業(yè)生就業(yè)協(xié)會(huì)教育數(shù)字化服務(wù)工作委員會(huì)暨高校教育數(shù)字化轉(zhuǎn)型與人才培養(yǎng)論壇在江蘇省無錫市圓滿召開，迪塔維作為支持單位受邀出席。席間，迪小數(shù)發(fā)現(xiàn)很多老師對我們的“職業(yè)院校大數(shù)據(jù)中心”建設(shè)方案非常感興趣，所以本期話題，我們就本著探究與學(xué)習(xí)的態(tài)度，與大家一起聊聊《全國職業(yè)院校大數(shù)據(jù)中心建設(shè)指南》（以下簡稱“指南”）中的大數(shù)據(jù)中心怎么建。
說起“指南”，今年6月份，教育部教育管理信息中心印發(fā)《職業(yè)教育信息化標(biāo)桿學(xué)校建設(shè)指南》、《職業(yè)教育信息化標(biāo)桿學(xué)校監(jiān)測指標(biāo)》、《職業(yè)院校大數(shù)據(jù)中心建設(shè)指南》系列指導(dǎo)文件，目標(biāo)到2025年，建設(shè)300所左右數(shù)字資源豐富、功能應(yīng)用強(qiáng)大、賦能效果良好、示范引領(lǐng)突出的全國性標(biāo)桿校，帶動(dòng)建設(shè)1000所左右區(qū)域性標(biāo)桿校，引導(dǎo)職業(yè)院校進(jìn)一步豐富拓展師生發(fā)展、教育教學(xué)、實(shí)習(xí)實(shí)訓(xùn)、管理服務(wù)等方面的應(yīng)用場景，以數(shù)字化賦能職業(yè)院校教學(xué)模式深度變革，促進(jìn)數(shù)字技術(shù)與教育教學(xué)深度融合，帶動(dòng)職業(yè)教育數(shù)字化水平整體提升，服務(wù)數(shù)字時(shí)代高素質(zhì)技術(shù)技能人才培養(yǎng)。
職業(yè)院校數(shù)字校園建設(shè)試點(diǎn)是標(biāo)桿校建設(shè)的重要基礎(chǔ)。數(shù)字校園試點(diǎn)工作中，建設(shè)校本大數(shù)據(jù)中心、對接院校中臺(tái)、參與國家智慧職教平臺(tái)資源與應(yīng)用建設(shè)等任務(wù)，既是參與標(biāo)桿校建設(shè)的基礎(chǔ)條件，也是標(biāo)桿校建設(shè)任務(wù)的重要組成。“指南”是職業(yè)院校校本大數(shù)據(jù)中心建設(shè)、應(yīng)用、運(yùn)維工作的規(guī)范和指導(dǎo)。簡而言之，建設(shè)標(biāo)桿校，需要根據(jù)“指南”要求，不斷完善校本數(shù)據(jù)中心。
其實(shí)看到“指南”，我們也是驚喜且興奮的，因?yàn)閷W(xué)校能夠知道大數(shù)據(jù)中心怎么建，我們也能看到自己的產(chǎn)品與“國家隊(duì)”的差距。欣慰的是，逐條對標(biāo)后，我們發(fā)現(xiàn)產(chǎn)品與“指南”要求高度吻合，而“指南”中對專有名詞的釋義更加權(quán)威、合理，這也為我們后續(xù)產(chǎn)品的優(yōu)化提供了明確的方向。
一、“What to do？”/
學(xué)校大數(shù)據(jù)中心建設(shè)主要包括頂層設(shè)計(jì)、數(shù)據(jù)標(biāo)準(zhǔn)與數(shù)據(jù)架構(gòu)設(shè)計(jì)、數(shù)據(jù)質(zhì)量與安全管理、數(shù)據(jù)應(yīng)用、大數(shù)據(jù)平臺(tái)建設(shè)、全國職業(yè)教育智慧大腦院校中臺(tái)對接等內(nèi)容。我們的理解，頂層設(shè)計(jì)是策略，標(biāo)準(zhǔn)與架構(gòu)設(shè)計(jì)是核心，質(zhì)量與安全是保障，應(yīng)用是路徑，大數(shù)據(jù)平臺(tái)是工具，智慧大腦對接是前提。
二、“How to do？”/
“指南”中“大數(shù)據(jù)中心平臺(tái)技術(shù)框架”章節(jié)詳細(xì)描述了服務(wù)大數(shù)據(jù)中心建設(shè)所需的技術(shù)結(jié)構(gòu)和工具（如圖所示），采用分層結(jié)構(gòu)，包括數(shù)據(jù)源層、數(shù)據(jù)匯聚層、數(shù)據(jù)存儲(chǔ)與管理層、數(shù)據(jù)分析與開發(fā)層、數(shù)據(jù)應(yīng)用層、以及數(shù)據(jù)治理監(jiān)控層。所謂“工欲善其事，必先利其器”，數(shù)據(jù)為基，數(shù)鏈為線，治用并舉，方為“智”治。
▲?大數(shù)據(jù)中心平臺(tái)工具框架圖
▲ 迪塔維大數(shù)據(jù)中心總體架構(gòu)圖
我們一層一層來看：
數(shù)據(jù)源
數(shù)據(jù)源從類型上可分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)；從來源上可分為校內(nèi)數(shù)據(jù)（業(yè)務(wù)數(shù)據(jù)）及校外數(shù)據(jù)（互聯(lián)網(wǎng)數(shù)據(jù)）。隨著物聯(lián)網(wǎng)及融媒體技術(shù)的蓬勃發(fā)展，教學(xué)課件、安防視頻、人車進(jìn)出照片、OA發(fā)文的各類附件文檔等非結(jié)構(gòu)化數(shù)據(jù)和校外互聯(lián)網(wǎng)數(shù)據(jù)以日益增長的態(tài)勢，成為數(shù)據(jù)治理、數(shù)據(jù)分析的一大重要組成，同樣大數(shù)據(jù)中心也要將此類數(shù)據(jù)納入治理口徑。
數(shù)據(jù)匯聚
“數(shù)據(jù)匯聚作為底層基礎(chǔ)支撐性服務(wù)，是大數(shù)據(jù)環(huán)境的基礎(chǔ)組成部分。通過Datax、Kettle等主流ETL工具對學(xué)校的多源異構(gòu)數(shù)據(jù)匯聚需考慮不同類型（結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化）、不同集成策略（定期采集、實(shí)時(shí)采集）的數(shù)據(jù)匯聚方案，并支持?jǐn)?shù)據(jù)的預(yù)處理，為大數(shù)據(jù)環(huán)境提供原始數(shù)據(jù)支撐?！?/em>
Datax、Kettle等工具雖主流，但操作繁瑣，實(shí)時(shí)集成需要外掛其他引擎，依然屬于傳統(tǒng)的ETL模式，我們的破局之法是：通過流批一體數(shù)據(jù)集成引擎，實(shí)現(xiàn)各類異構(gòu)數(shù)據(jù)源（包括非結(jié)構(gòu)化數(shù)據(jù)）的統(tǒng)一匯聚，通過實(shí)時(shí)湖倉完成數(shù)據(jù)分層建設(shè)，實(shí)現(xiàn)標(biāo)準(zhǔn)化數(shù)據(jù)的清洗轉(zhuǎn)換等處理過程。只要源端滿足條件，流處理引擎就可以適配各類主流關(guān)系型數(shù)據(jù)庫的實(shí)時(shí)同步，將CDC（變化數(shù)據(jù)捕捉）的制約條件降至最低，支持邏輯主鍵、物化視圖、BlOB大字段的實(shí)時(shí)同步，并提供集成策略推薦。通過可視化的配置界面，將繁瑣的操作黑盒化，降低數(shù)據(jù)匯聚作業(yè)的開發(fā)難度。
另外，批處理又保留了ETL工具強(qiáng)大的批量計(jì)算及數(shù)據(jù)清洗轉(zhuǎn)換能力，基于統(tǒng)一調(diào)度實(shí)現(xiàn)各類集成任務(wù)的在線編排和調(diào)度，與流處理自由切換，即“流批一體”，為每個(gè)高校的數(shù)據(jù)匯聚場景適配最優(yōu)的數(shù)據(jù)同步方案。
數(shù)據(jù)存儲(chǔ)與管理
“數(shù)據(jù)存儲(chǔ)與管理層是大數(shù)據(jù)處理環(huán)境的核心，它存儲(chǔ)由數(shù)據(jù)采集層采集回來的各類數(shù)據(jù)和數(shù)據(jù)治理后的各個(gè)層次的數(shù)據(jù)，并為上層應(yīng)用提供數(shù)據(jù)處理的能力。” 顯然，這是大數(shù)據(jù)中心的核心所在。大數(shù)據(jù)底座支撐大數(shù)據(jù)中心數(shù)據(jù)存儲(chǔ)、匯聚、交換、傳輸、計(jì)算的全過程，其性能和架構(gòu)將直接影響大數(shù)據(jù)環(huán)境的運(yùn)行。
迪塔維大數(shù)據(jù)底座搭載自研流批一體集成引擎、分布式湖倉、流式數(shù)據(jù)傳輸Kafka集群等內(nèi)置組件，對時(shí)效性、穩(wěn)定性、擴(kuò)展性和性能進(jìn)行全面提升，分布式、高容錯(cuò)、高穩(wěn)定，數(shù)據(jù)存儲(chǔ)體系足夠健壯，同時(shí)能為用戶提供完整的大數(shù)據(jù)Hadoop生態(tài)等技術(shù)組件，便于擴(kuò)展數(shù)據(jù)存儲(chǔ)、計(jì)算、調(diào)度、共享等延伸需求。
▲ 數(shù)據(jù)存儲(chǔ)與管理邏輯架構(gòu)圖
從數(shù)據(jù)存儲(chǔ)架構(gòu)劃分上來說，我們把數(shù)據(jù)實(shí)體分為數(shù)據(jù)源層、貼源層數(shù)據(jù)湖（ODS）、數(shù)據(jù)倉庫標(biāo)準(zhǔn)層（DWD）和數(shù)據(jù)倉庫應(yīng)用層（ADS）四大部分，數(shù)據(jù)源通過實(shí)時(shí)入湖操作1:1復(fù)制進(jìn)入貼源層，經(jīng)對標(biāo)、清洗、脫敏后進(jìn)入數(shù)據(jù)倉庫標(biāo)準(zhǔn)層，圍繞學(xué)?；A(chǔ)管理范疇劃分主題域，應(yīng)用層則以標(biāo)準(zhǔn)層為基礎(chǔ)，構(gòu)建命名規(guī)范、口徑一致的數(shù)據(jù)模型及指標(biāo)，為上層數(shù)據(jù)應(yīng)用輸出主題、指標(biāo)模型。本存儲(chǔ)架構(gòu)與“指南”在“數(shù)據(jù)架構(gòu)設(shè)計(jì)”章節(jié)提出的數(shù)據(jù)貼源層（ODS）、數(shù)據(jù)倉庫層（DW）和數(shù)據(jù)應(yīng)用層（ADS）三層分布完全吻合。
數(shù)據(jù)分析與開發(fā)
“數(shù)據(jù)分析與開發(fā)層提供對數(shù)據(jù)的探查與自主分析和圖形化的數(shù)據(jù)開發(fā)?！?我們通過可視化拖拽方式實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)集成、實(shí)時(shí)計(jì)算、腳本開發(fā)（SQL、SHELL、PYTHON）、算法開發(fā)，為深入挖掘數(shù)據(jù)要素潛力，我們還提供了一個(gè)支持R語言和Python語言編寫的Web應(yīng)用，可以在線創(chuàng)建、編譯、運(yùn)行、共享代碼，實(shí)現(xiàn)深層次數(shù)據(jù)清洗轉(zhuǎn)換、數(shù)值模擬、統(tǒng)計(jì)建模、挖掘算法功能，幫助學(xué)校降低數(shù)據(jù)開發(fā)門檻，提高開發(fā)效率。支持基礎(chǔ)算法原子封裝，通過可視化建模過程，實(shí)現(xiàn)拖拽式數(shù)據(jù)智能分析與挖掘工作，發(fā)掘數(shù)據(jù)內(nèi)在關(guān)聯(lián)關(guān)系，深挖數(shù)據(jù)資產(chǎn)潛在價(jià)值，支持預(yù)警類、畫像類應(yīng)用精準(zhǔn)化助力人才培養(yǎng)、主動(dòng)關(guān)懷。
▲ 流計(jì)算可視化拖拽配置
數(shù)據(jù)應(yīng)用
數(shù)據(jù)應(yīng)用層是面向最終用戶劃分的，分為數(shù)據(jù)開放共享和數(shù)據(jù)可視化兩部分。我們在數(shù)據(jù)開放模塊提供了全場景、高安全的數(shù)據(jù)開放與共享接口開發(fā)注冊及監(jiān)控能力，圍繞數(shù)據(jù)資產(chǎn)服務(wù)的“開發(fā)-發(fā)布-監(jiān)控”流程，使數(shù)據(jù)資源共享更加體系化、流程化。另外，除要求的API接口形式之外，我們還提供在線查詢、文件下載、視圖開放共四類開放形式。
數(shù)據(jù)可視化作為最直觀可見的數(shù)據(jù)應(yīng)用場景，一直是各路廠商“卷技術(shù)、秀實(shí)力”的主戰(zhàn)場。我們不敢保證技術(shù)能力是最頂尖的，但是對于高校數(shù)據(jù)可視化場景下常用的組件、指標(biāo)非常了解，多年實(shí)施經(jīng)驗(yàn)也積累了豐富的可視化模板，可按需構(gòu)建領(lǐng)導(dǎo)駕駛艙、主題看板、移動(dòng)端數(shù)據(jù)報(bào)告、聯(lián)屏IOC等可視化場景。結(jié)合流計(jì)算能力，大屏還可實(shí)時(shí)呈現(xiàn)數(shù)據(jù)同步、數(shù)據(jù)統(tǒng)計(jì)效果。
數(shù)據(jù)治理監(jiān)控
數(shù)據(jù)治理監(jiān)控層貫穿數(shù)據(jù)治理全過程，“指南”中重點(diǎn)提及了數(shù)據(jù)質(zhì)量監(jiān)控、安全監(jiān)控和需求監(jiān)控三個(gè)方面。我們的想法是對數(shù)據(jù)的全生命周期和使用痕跡都要形成全面的監(jiān)控和自動(dòng)化追溯，數(shù)據(jù)從產(chǎn)生到消亡的全過程可記錄，從源頭到終端的所有轉(zhuǎn)換過程可追蹤，實(shí)現(xiàn)鏈路式數(shù)據(jù)管理體系，即“全鏈路體系”。所以我們的全鏈路監(jiān)控中心實(shí)現(xiàn)了包括對數(shù)據(jù)集成過程、數(shù)據(jù)資源建設(shè)情況、數(shù)據(jù)質(zhì)量及反饋情況、數(shù)據(jù)后臺(tái)實(shí)體空間運(yùn)行情況、數(shù)據(jù)開放API訪問情況、數(shù)據(jù)血緣及數(shù)據(jù)應(yīng)用、數(shù)據(jù)影響、運(yùn)行狀況等的監(jiān)控。同時(shí)，監(jiān)控中心還伴有預(yù)警功能，可對異常任務(wù)提醒及時(shí)關(guān)注。