單擊此處母版標題樣式,單擊此處編輯母版文本樣式,第二級,商務智能概述,第一,章,數據挖掘與商務智能,主要內容,數據時代需要BI,什么是BI,BI給我們帶,來,來了什么,BI系統(tǒng)架構,主流商務智能,產,產品介紹,商務智能應用,及,及發(fā)展趨勢,數據時代需要BI-1,計算時代,實驗室里的大,量,量計算,不重視數據的,存,存儲,普及時代,個人、企業(yè)廣,泛,泛使用,出現數據、存,儲,儲的需求,應用系統(tǒng)時代,開始出現數據,積,積累,互聯網時代,更加海量的網,上,上數據,數據時代？,數據、數據、,數,數據、數據、,數,數據.,“大話”計算,機,機數十年來的,發(fā),發(fā)展,數據時代需要BI-2,案例一：BehaviorTargeting,用戶行為（網,絡,絡用戶，實際,用,用戶）,目標銷售（email，網,絡,絡廣告，短信,，,，電話促銷,）,）,用戶的歸類、,預,預測,數據告訴我們,什,什么-3,案例二：SEM（Search Engine Marketing）,搜索引擎營銷,MSN Bing、Google、Yahoo和Baidu四,大,大全球搜索引,擎,擎,KSP（KeywordServices Platform,）,）,AdSage,（,（艾德思奇）:第三方SEM服務商,“,Business Intelligence is a process of turning data into information and knowledge into action for business gain,?！?Data Warehouse Institute.,什么是商務智,能,能-1,數據,可以記錄、通,信,信和能識別的,符,符號,可以是文本、,圖,圖片、聲音等,多,多種形式,信息,有用的數據就,是,是信息，信息,是,是對數據的解,釋,釋,信息是經過加,工,工后的數據,一個人的垃圾,（,（數據）是另,一,一個人的財富,（,（信息）,知識,是對信息內容,進,進行提煉、比,較,較、挖掘、分,析,析、概括、判,斷,斷和推論,事實性知識和,經,經驗知識（顯,性,性和隱性）,How are You?,什么是商務智,能,能-2,商務智能是企業(yè)利用現代信息技術收集、管理和分析結構化和非結構化的商務數據和信息，創(chuàng)造和累計商務知識和見解，改善商務決策水平，采取有效的商務行動，完善各種商務流程，提升各方面商務績效，增強綜合競爭力的智慧和能力-王茁專著,三位一體的商務智能,.,共性,沒有數據就沒,有,有商務智能,數據之間往往,存,存在一定的規(guī),律,律,采用一定的信,息,息技術手段,BI給我們帶,來,來了什么-1,BI給我們帶,來,來了什么-2,豐富的報表、,查,查詢功能,發(fā),發(fā)生了什么,BI給我們帶,來,來了什么-3,圖,4.5 Cognos,的鉆取操作,IBM Cognos的,鉆,鉆取操作,為,為什么發(fā)生,BI給我們帶,來,來了什么-4,預測將來,會,會發(fā)生什么,銷售分析儀表,盤,盤,BI給我們帶,來,來了什么-5,仿真分析,希,希望發(fā)生什么,BI 系統(tǒng)架,構,構-1,數據庫,業(yè)務數據庫,添加、修改、刪除；,查詢、統(tǒng)計、歸檔；,存儲、集群、備份、遷移,數據倉庫,ETL,數據挖掘模型,多維分析模型,分析展現,挖掘展現,門,戶,集,成,BI 系統(tǒng)架,構,構-2,數據源,企業(yè)內部數據,各種應用系統(tǒng),：,：訂單系統(tǒng)、,銷,銷售系統(tǒng)、,OLTP（OnlineTransactionProcessing）,外部數據：市,場,場信息、競爭,對,對手數據,存在問題,異構環(huán)境數據,主題不明確,對業(yè)務系統(tǒng)的,影,影響,BI 系統(tǒng)架,構,構-3,數據倉庫（Data Warehouse，DW）,面向主題的、,集,集成的、穩(wěn)定,的,的、隨時間不,斷,斷變化的數據,庫,庫系統(tǒng),ETL,數據抽?。‥xtraction）,數據轉換（Transformation）,數據加載（Loading,）,）,BI 系統(tǒng)架,構,構-4,OLAP（On-LineAnalyticalProcessing）,商務智能的直,接,接數據來源？,OLTP?,數據倉庫？,多維數據集?,什么是多維數,據,據集？,“,多維數據集是一種結構，包含了一個或多個度量,。這些度量用于所有維度的成員的每個唯一組合。”,BI 系統(tǒng)架,構,構-5,OLAP（On-LineAnalyticalProcessing）,“OLAP系統(tǒng)能夠讓用戶快捷地從數據中檢索信息，通常作為分析工具用在數據集市中，OLAP系統(tǒng)通過度量、維度、層次結構和多維數據集等來展示數據?！?Microsoft,BI 系統(tǒng)架,構,構-6,數據挖掘,啤酒與尿布的故事：,在一家超市里，有一個有趣的現象：尿布和啤酒赫然擺在一起出售，但是這個奇怪的舉措卻使尿布和啤酒的銷量雙雙增加了。,原來，美國的婦女們經常會囑咐她們的丈夫下班以后要為孩子買尿布。而丈夫在買完尿布之后又要順手買回自己愛喝的啤酒，因此啤酒和尿布在一起購買的機會還是很多的。,BI的三個層,次,次,數據庫,業(yè)務數據庫,添加、修改、刪除；,查詢、統(tǒng)計、歸檔；,存儲、集群、備份、遷移,數據倉庫,ETL,數據挖掘模型,多維分析模型,分析展現,挖掘展現,門,戶,集,成,BI的三個層,次,次,用戶數增加,報表分析,OLAP,DM,復雜度增加,我知道它現在,是,是怎樣的,我知道它為什,么,么是這樣,我知道它以后,會,會是怎樣,主流商務智能,產,產品介紹-1,廠商,產品及簡介,IBM,DB2以及Cognos、SPSS、DataStage，覆蓋BI全部領域,Oracle,Oracle、Hyperion(海波龍,)，覆蓋BI全部領域，數據挖掘領域有待加強,Microsoft,SQLServer，覆蓋BI全部領域，適合中小型企業(yè)，性價比高,Informatica,Informatica，主要是數據集成領域,Teradata,Teradata，主要是數據倉庫領域,Sybase,SybaseIQ，主要是數據倉庫領域,SAP,BusinessObjects、CrystalReports，主要是OLAP和報表領域,SAS,SAS，數據挖掘領域領先,奧威智動,Power-BI，主要是OLAP和報表領域，行業(yè)解決方案,尚南,BlueQuery，主要是OLAP和報表領域（已被用友華表收購）,潤乾,潤乾報表，主要是OLAP和報表領域,探智,Trinity，主要是數據集成領域,主流商務智能,產,產品介紹-2,商務智能應用-1,商務智能行業(yè),應,應用,商務智能應用-2,各行業(yè)電子商,務,務網站,算法,層,商,業(yè),邏,輯,層,行,業(yè),應,用,層,商業(yè)應用,商業(yè)模型,挖掘算法,CRM,產品推薦,客戶細分,客戶流失,客戶利潤,客戶響應,關聯規(guī)則、序列模式、分類、聚集、偏差分析,WEB,挖掘,網站結構優(yōu)化,網頁推薦,商品推薦,基因挖掘,基因表達路徑分析,基因表達相似性分析,基因表達共發(fā)生分析,銀行,電信,零售,保險,制藥,生物信息,科學研究,相關行業(yè),商務應用需求,的,的推動,神經網絡、決,策,策樹、回歸分,析,析、粗集、遺,傳,傳算法,金融行業(yè)應用,美國匯豐,銀,銀行使用SPSS成功案例,公司背景,美國匯豐銀行,是,是HSBC集,團,團成員之一，,通,通過位于紐約,的,的 380,個,個分支機構為140 多,萬,萬銀行客戶提,供,供核算、投資,、,、借貸和其它,金,金融服務。美,國,國匯豐銀行資,產,產為350億,美,美元。,面臨問題,同一地區(qū)可能,有,有多家銀行設,有,有分支機構，,從,從而引起持續(xù),的,的競爭來吸引,和,和保持附近的,潛,潛在客戶。為,保,保持高水平的,客,客戶獲取和保,持,持率，并維持,可,可贏利性，銀,行,行經常要實現,以,以下目標：,擴展和現有客,戶,戶的關系,控制營銷費用,以,以維持利潤,用新的智能快,速,速轉移市場,金融行業(yè)應用,美國匯豐,銀,銀行使用SPSS成功案例,解決方案SPSS,客戶細分：采,用,用實時的預測,分,分析技術，分,析,析來自各種不,同,同數據源（ATM、交易網,站,站、呼叫中心,及,及相關分支機,構,構）的客戶數,據,據,發(fā)現潛在,價,價值,客戶流失：找,出,出最有價值的,客,客戶，理解他,們,們的行為。在,客,客戶群中找出,盡,盡可能多的潛,在,在流失者，進,行,行有效的保留,活,活動并降低成,本,本,交叉銷售:從,客,客戶的交易數,據,據和客戶的自,然,然屬性中尋找,、,、選擇最有可,能,能捆綁在一起,銷,銷售的產品和,服,服務，發(fā)現有,價,價值的產品和,服,服務組合，從,而,而有效地向客,戶,戶提供額外的,服,服務，提高活,期,期收入并提升,客,客戶的收益率,金融行業(yè)應用,美國匯豐,銀,銀行使用SPSS成功案例,應用結果,揭示特定客戶,的,的需求，銷售,增,增加50%,營銷費用減少30%,提高了建立和,開,開展適時營銷,戰(zhàn),戰(zhàn)略的能力,Somma說,，,，OLAP對,了,了解數據特征,來,來說是一個不,錯,錯的工具，但,我,我無法從中發(fā),現,現聯系的力度,，,，也不能做出,預,預測模型，而,那,那正是我最需,要,要的?！?Somma說,，,，OLAP,是,是好的報告工,具,具，但沒有統(tǒng),計,計引擎，它只,能,能告訴過去我,在,在哪里，而不,能,能說出我需要,去,去哪里。,BI在電信行,業(yè),業(yè)應用,精細化營銷,客戶細分，找,準,準客戶范圍，,全,全面了解客戶,地市分公司數,據,據集市建設,評估分析套餐,資費預演功能,套餐分析,資費營銷案活,動,動管理,降低成本,重入網現象日,趨,趨嚴重,利用呼叫指紋,和,和IMEI技,術,術，架構新的,重,重入網模型,BI在零售業(yè),應,應用-1,零售業(yè)特點,顧客數量龐大,，,，消費水平層,次,次不齊,銷售品種多，,銷,銷售方式多樣,供應商信息龐,大,大,顧客已從“感覺消費,”,”向“感情消,費,費”邁進,企業(yè)經營開始從降低成本向,提,提高顧客滿意,度,度邁進（CRM）,CRM（客戶,關,關系管理）指,在,在合適的時間,、,、以合適的價,格,格、將合適的,產,產品或服務提,供,供給合適的客,戶,戶，以滿足他,們,們的需要。,BI在零售業(yè),應,應用-2,BI在零售業(yè),的,的應用價值,了解銷售全局,商品分組布局,降低庫存成本,市場和趨勢分,析,析,有效的商品促,銷,銷,BI在電子商,務,務行業(yè)的應用-1,BI在電子商,務,務行業(yè)的應用-2,Web挖掘,就是利用數據,挖,挖掘技術，從Web文檔以,及,及服務中發(fā)現,信,信息、知識的,過,過程,數據來源于Web文檔、Web服務器,日,日志、用戶Cookies,主要處理文本,、,、圖形、圖像,等,等半結構化數,據,據,主要應用,網站結構優(yōu)化,智能搜索引擎,個性化推薦,顧客分類，交,叉,叉銷售,垃圾郵件過濾,BI在電子,商,商務行業(yè)的,應,應用-3,Web挖掘,分,分類,Web,挖掘,Web,結構挖掘,Web,使用挖掘,Web,內容挖掘,文本挖掘,多媒體挖掘,內,、,外部結構挖掘,URL,挖掘,個性化訪問模,式追蹤,一般訪問模式,追蹤,BI在電子,商,商務行業(yè)的,應,應用-4,Web文本,挖,挖掘,Web文本,挖,挖掘應用,搜索引擎優(yōu),化,化,垃圾郵件過,濾,濾,BI在電子,商,商務行業(yè)的,應,應用-4,Web結構,挖,挖掘,通過分析頁,面,面鏈接的數,量,量和對象，,從,從而建立Web的鏈接,結,結構模式,相關算法,PageRank算法,：,：網頁的質,量,量和重要性,可,可以通過其,他,他網頁對其,鏈,鏈接的數量,進,進行衡量,HITS算,法,法：,權威頁面：,表,表達某一主,題,題的頁面,Hub頁面,：,：把權威頁,面,面鏈接到一,起,起的頁面,應用,信息檢索：,根,根據Web,重,重要性進行,排,排名,社區(qū)識別：,識,識別基于某,個,個特定主題,的,的相關Web頁面,網站優(yōu)化：,重,重新定位網,頁,頁鏈接,BI在電子,商,商務行業(yè)的,應,應用-5,Web日志,挖,挖掘,指從用戶訪,問,問日志中獲,取,取有價值的,信,信息，包,括