《統(tǒng)一搜索、檢索系統(tǒng)概要》由會(huì)員分享,可在線閱讀,更多相關(guān)《統(tǒng)一搜索、檢索系統(tǒng)概要(7頁(yè)珍藏版)》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
1、單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),2016/6/7,#,統(tǒng)一,搜索綜述,定義,統(tǒng)一搜索產(chǎn)品是基于開(kāi)源框架,針對(duì)網(wǎng)頁(yè)內(nèi)容,商品、多媒體以及應(yīng)用的搜索產(chǎn)品,包括爬蟲(chóng)引擎,索引引擎、檢索引擎、智能推薦引擎、框計(jì)算接口平臺(tái)、運(yùn)營(yíng)支撐平臺(tái)等子系統(tǒng)和應(yīng)用組件。有核心的搜索引擎算法和專業(yè)的技術(shù)架構(gòu)做有力的支撐。,定位,面向搜索用戶,提供信息檢索的入口和渠道,完成從接受搜索詞到返回搜索結(jié)果的關(guān)鍵流程,同時(shí)還要完成對(duì)搜索內(nèi)容的采集與分析、建立索引的工作。,特點(diǎn),統(tǒng)一搜索對(duì)網(wǎng)頁(yè)引入爬蟲(chóng)抓取機(jī)制,與傳統(tǒng)數(shù)據(jù)庫(kù)方式內(nèi)容搜索,形成最鮮明的差異化優(yōu)勢(shì);對(duì)垂直搜索采用開(kāi)放平
2、臺(tái)接入方式,各種數(shù)據(jù)和應(yīng)用可以主動(dòng)與搜索平臺(tái)對(duì)接,使自己有機(jī)會(huì)來(lái)響應(yīng)搜索的需求。,發(fā)展,統(tǒng)一搜索的主要發(fā)展方向有兩方面:一是,擴(kuò)大搜索范圍,增加更多的專業(yè)垂直搜索;二是,向移動(dòng)端延伸,為移動(dòng)端提供更多支撐。,搜索引擎,的算法來(lái)到了以用戶體驗(yàn)至上的年代,我們選擇了在目前搜索引擎領(lǐng)域企業(yè)級(jí)應(yīng)用中最先進(jìn)的開(kāi)源框架,solr,基礎(chǔ)上,通過(guò)對(duì)其核心算法的改造和優(yōu)化,將其搜索引擎第三代算法:相關(guān)性算法加入用戶體驗(yàn)元素,例如用戶點(diǎn)擊反饋因素及權(quán)重對(duì)網(wǎng)頁(yè)最終得,分的影響等,,實(shí)現(xiàn)了搜索引擎核心算法的升級(jí)和優(yōu)化,。,商城垂直搜索中的商品綜合排序算法從無(wú)到有,依據(jù)對(duì)商品排序需求的研究,結(jié)合已經(jīng)掌握的相關(guān)排序算法技
3、術(shù),創(chuàng)新出了適用于商品綜合排序的算法;商品智能推薦算法也已研究出一定規(guī)模。,搜索引擎核心算法,技術(shù)特點(diǎn),我們搜索引擎中的爬蟲(chóng)引擎、日志采集分析子系統(tǒng)、智能推薦引擎均,采用的是以,nutch,、,hadoop,、,redis,、,hbase,、,mahout,等框架為基礎(chǔ),的分布式存儲(chǔ)、云計(jì)算的平臺(tái)和技術(shù),;索引引擎,、檢索引擎等核心引擎采用的是以,solr,、,Lucene,為底層框架,包含了分布式集群部署、支撐高并發(fā)的主從式索引控制、根據(jù)配置文件定義數(shù)據(jù)解析等搜索引擎領(lǐng)域中最專業(yè),的技術(shù)手段。,統(tǒng)一搜索產(chǎn)品賣(mài)點(diǎn)分析,搜索引擎主體架構(gòu)采用的是面向接口,插件化、可擴(kuò)展的開(kāi)放架構(gòu),它對(duì)外提供類似于
4、,Web-service,的,API,接口。搜索引擎支撐系統(tǒng)的管理平臺(tái)采用的是以,jQueryEasyUI+spring3+mybatis,為基礎(chǔ)框架的架構(gòu),保證了對(duì)非重點(diǎn)功能的易于開(kāi)發(fā);重點(diǎn)和核心功能的易于解耦、易于擴(kuò)展及性能上不增加額外開(kāi)銷的保證。,架構(gòu)特點(diǎn),產(chǎn)品特點(diǎn),搜索領(lǐng)域產(chǎn)品中框計(jì)算能力是一個(gè),非常,重要的標(biāo)識(shí)。,我們已經(jīng)實(shí)現(xiàn)了基本的框計(jì)算能力,在主流門(mén)戶已經(jīng)上線的搜索產(chǎn)品中實(shí)現(xiàn)了普通直達(dá)搜索、商品直達(dá)搜索,、一鍵辦理業(yè)務(wù)搜索、,網(wǎng)頁(yè)搜索等多種搜索服務(wù),能力,??蛴?jì)算,背后的資源平臺(tái),,實(shí)現(xiàn)了基于普通業(yè)務(wù)直達(dá),的配置管理系統(tǒng);一鍵辦理服務(wù)直達(dá)的接口規(guī)范,,但離各種數(shù)據(jù)和應(yīng)用可以主動(dòng)與
5、框計(jì)算平臺(tái)對(duì)接這個(gè)要求還有較大的距離,需要進(jìn)一步完善和包裝支撐框計(jì)算,的后臺(tái)系統(tǒng)和工具。,統(tǒng)一搜索,產(chǎn)品賣(mài)點(diǎn)分析續(xù),統(tǒng)一搜索門(mén)戶綜合搜索功能架構(gòu),搜索引擎子系統(tǒng),門(mén)戶搜索,搜索框,搜索首頁(yè),搜索結(jié)果頁(yè),高級(jí)搜索頁(yè)面,數(shù)據(jù)處理,網(wǎng)頁(yè)解析,內(nèi)容分類,數(shù)據(jù)去重,數(shù)據(jù)輸出,索引維護(hù),文本分詞,索引生成,索引分發(fā),基礎(chǔ)檢索,直達(dá)搜索,搜索提示,分類搜索,搜索推薦,自然語(yǔ)言檢索,組合檢索,漸進(jìn)檢索,敏感詞過(guò)濾,搜索結(jié)果匹配內(nèi)容提示,檢索結(jié)果多維度排序,搜索結(jié)果分類篩選,數(shù)據(jù)源,運(yùn)營(yíng)管理子系統(tǒng),推薦管理,搜索結(jié)果管理,搜索SEO管理,詞庫(kù)管理,搜索平臺(tái)管理,搜索應(yīng)用視圖管理,搜索應(yīng)用配置,運(yùn)行管理,搜索應(yīng)用
6、監(jiān)控維護(hù),統(tǒng)計(jì)分析,權(quán)限管理,參數(shù)配置,工單管理,統(tǒng)計(jì)分析,搜索業(yè)務(wù)管理,直達(dá)管理,推薦管理,搜索結(jié)果管理,搜索SEO管理,詞庫(kù)管理,信息采集,爬蟲(chóng),業(yè)務(wù)數(shù)據(jù)同步,一級(jí)門(mén)戶,移動(dòng)商城,各省門(mén)戶,一級(jí),WAP,客戶端,擴(kuò)展檢索,接入層,索引層,應(yīng)用層,展現(xiàn)層,業(yè)務(wù)運(yùn)營(yíng),人員,客戶,統(tǒng)一搜索采用總部一點(diǎn)建設(shè),包括搜索引擎子系統(tǒng)和運(yùn)營(yíng)管理子系統(tǒng)兩部分。,搜索引擎子系統(tǒng)包括:搜索門(mén)戶、數(shù)據(jù)處理、索引維護(hù)、信息采集、基礎(chǔ)檢索,運(yùn)營(yíng)管理子系統(tǒng)包括:管理門(mén)戶、業(yè)務(wù)運(yùn)營(yíng)管理、平臺(tái)運(yùn)營(yíng)管理、系統(tǒng)運(yùn)營(yíng)管理,統(tǒng)一搜索門(mén)戶綜合搜索系統(tǒng)架構(gòu),平臺(tái)運(yùn)營(yíng)管理人員,客戶,商戶,截至目前,統(tǒng)一搜索實(shí)現(xiàn)了搜索提示詞、智能糾錯(cuò)、相
7、關(guān)推薦、相關(guān)度排序、高級(jí)搜索、搜索直達(dá)、商品直達(dá)、熱門(mén)搜索詞、大家都在搜、搜索歷史、高亮提示、相關(guān)搜索詞、調(diào)研問(wèn)卷、廣告等,18,項(xiàng)核心功能。,搜索提示詞,智能糾錯(cuò),相關(guān)推薦,相關(guān)度排序,高級(jí)搜索,多媒體搜索,與或非搜索,site,指令,搜索直達(dá),商品直達(dá),熱門(mén)搜索詞,大家都在搜,搜索歷史,高亮提示,相關(guān)搜索詞,調(diào)研問(wèn)卷,廣告,一鍵辦理功能,統(tǒng)一搜索,18,項(xiàng)核心功能,搜索首頁(yè),承載方頁(yè)面,搜索入口,承載方,搜索詳情頁(yè),省公司,H5,頁(yè)面,統(tǒng)一搜索,H5,頁(yè)面,搜索結(jié)果頁(yè),嵌入方式和入口形式,由統(tǒng)一搜索提供整體方案,由統(tǒng)一搜索和承載方雙方共同協(xié)商確認(rèn)。,搜索詳情頁(yè),由省公司提供;,對(duì)于沒(méi)有開(kāi)發(fā)能力的省公司,總部提供技術(shù)支持,指導(dǎo)開(kāi)發(fā)。,除搜索框、搜索歷史、熱詞推薦、輸入提示等基本功能外,搜索首頁(yè)還主要承載直達(dá)內(nèi)容。,搜索結(jié)果頁(yè)作為核心頁(yè)面,對(duì)一鍵辦理、業(yè)務(wù)直達(dá)和商城商品接入等內(nèi)容都有不同的展現(xiàn)。,實(shí)現(xiàn),方式:統(tǒng)一搜索以嵌入的方式,為總部和省公司提供搜索服務(wù)能力,將統(tǒng)一搜索已經(jīng)在,PC,端實(shí)現(xiàn)的一鍵辦理等特色業(yè)務(wù)擴(kuò)展到移動(dòng)端;,系統(tǒng)邊界,:承載方頁(yè)面中承載搜索框、導(dǎo)航、圖標(biāo)等多種形式的搜索入口,統(tǒng)一搜索提供搜索首頁(yè)和搜索結(jié)果頁(yè),省公司也用,Html5,技術(shù)實(shí)現(xiàn)詳情頁(yè)。如下圖:,向移動(dòng)端方向發(fā)展,