首先,簡(jiǎn)單了解一下大數(shù)據(jù)時(shí)代下的數(shù)據(jù)檢索。
在如今的大數(shù)據(jù)時(shí)代,信息量爆炸、數(shù)據(jù)增長(zhǎng)迅猛,如何在動(dòng)輒上T、上P的數(shù)據(jù)量上實(shí)現(xiàn)信息的快速查詢檢索成為大數(shù)據(jù)技術(shù)中的核心命題之一。
在大數(shù)據(jù)的技術(shù)體系下信息管理部門一般會(huì)選擇使用主流的開源組件ELK作為非結(jié)構(gòu)數(shù)據(jù)的查詢檢索渠道,ELK由Elasticsearch、Logstash和Kibana三部分組件組成;
Elasticsearch,簡(jiǎn)稱ES,是個(gè)開源分布式搜索引擎,它的特點(diǎn)有:分布式,零配置,自動(dòng)發(fā)現(xiàn),索引自動(dòng)分片,索引副本機(jī)制,restful風(fēng)格接口,多數(shù)據(jù)源,自動(dòng)搜索負(fù)載等。
Logstash是一個(gè)完全開源的工具,它可以對(duì)你的日志進(jìn)行收集、分析,并將其存儲(chǔ)供以后使用。
kibana 是一個(gè)開源和免費(fèi)的工具,它可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以幫助您匯總、分析和搜索重要數(shù)據(jù)日志。
簡(jiǎn)單了解了大數(shù)據(jù)體系下的數(shù)據(jù)檢索情況后,我們回到文章標(biāo)題所涉及的內(nèi)容,針對(duì)傳統(tǒng)數(shù)據(jù)庫(kù),一般情況下我們會(huì)采用SQL語句對(duì)數(shù)據(jù)庫(kù)中的信息進(jìn)行查詢、統(tǒng)計(jì)、聚合,這項(xiàng)技術(shù)在大學(xué)的基礎(chǔ)課程數(shù)據(jù)庫(kù)原理中就開始進(jìn)行授業(yè)布道了,對(duì)于IT人來說,采用SQL語句和數(shù)據(jù)庫(kù)進(jìn)行交互變得自然而天經(jīng)地義。
然而,我們?cè)O(shè)想一下,很多情況下當(dāng)我們?nèi)フ乙粋€(gè)數(shù)據(jù)的時(shí)候,我們會(huì)怎么做?
1、我要知道數(shù)據(jù)在哪個(gè)數(shù)據(jù)表里,然后我寫sql語句查詢
2、忘了表名怎么辦?我要去找文檔,查看數(shù)據(jù)庫(kù)結(jié)構(gòu)
3、假如文檔也沒有怎么辦?我會(huì)用select * from tab where TABLE_NAME like ‘%%’ 能想到點(diǎn)什么就先過濾點(diǎn)什么。
4、假如都不知道,我該怎么辦?找服務(wù)商、找開發(fā)商幫我找,找不到?找不到不行,接著找,不過這個(gè)時(shí)候可能一周時(shí)間已經(jīng)過去了。
5、假如我找到了我想找的那條數(shù)據(jù),可是發(fā)現(xiàn)數(shù)據(jù)相關(guān)的字段都是各種代碼,我看不懂???代碼怎么翻譯?那么,我們必須順著1、2、3、4再來一遍。
現(xiàn)在,假如有一個(gè)針對(duì)數(shù)據(jù)庫(kù)所有表名、字段名、字段內(nèi)容、關(guān)聯(lián)表信息的搜索引擎,在搜索引擎上隨意輸入你要模糊查詢的內(nèi)容,有可能是你記得的某個(gè)字段大概的名字,也有可能是一個(gè)人名,搜索后的結(jié)果則是跟你搜索關(guān)鍵詞相關(guān)的所有匹配的數(shù)據(jù)表、數(shù)據(jù)字段、字段內(nèi)容、關(guān)聯(lián)數(shù)據(jù)信息。
聽起來是不是很智能?
現(xiàn)在我們實(shí)現(xiàn)了,秉承著對(duì)數(shù)據(jù)技術(shù)的執(zhí)著,秉承著為客戶創(chuàng)造價(jià)值的理念,我們將主數(shù)據(jù)管理、數(shù)據(jù)庫(kù)與搜索引擎結(jié)合在一起,為數(shù)據(jù)管理員提供最簡(jiǎn)單、最直接的數(shù)據(jù)庫(kù)查詢方式,我們希望能夠讓數(shù)據(jù)管理更簡(jiǎn)單,能讓數(shù)據(jù)管理員的工作更輕松。
搜索結(jié)果
關(guān)聯(lián)數(shù)據(jù)查詢
我們將延續(xù)在數(shù)據(jù)技術(shù)方面的探索,也期待您能持續(xù)關(guān)注我們公司。
做最專業(yè)的數(shù)據(jù)技術(shù)團(tuán)隊(duì),讓世界變得更清晰