數(shù)據(jù)倉庫1.基本概念隨著技術(shù)的普及和發(fā)展，人們不僅對一般的業(yè)務(wù)處理感到滿意，而且對系統(tǒng)提出了更高的要求: 提供決策支持什么叫技術(shù)？面向分析的環(huán)境；一種將相關(guān)數(shù)據(jù)轉(zhuǎn)換為具有商業(yè)價(jià)值的信息的技術(shù). 1.從到數(shù)據(jù)倉庫系統(tǒng)可以很好地用于事務(wù)處理，但是其對分析處理的支持并不令人滿意. 特別地，當(dāng)專注于業(yè)務(wù)處理的事務(wù)處理（OLTP）應(yīng)用程序和專注于分析處理的DSS應(yīng)用程序共存于系統(tǒng)中時，就會出現(xiàn)許多問題. 例如，事務(wù)處理應(yīng)用程序通常需要當(dāng)前數(shù)據(jù)，主要考慮到響應(yīng)時間短；盡管分析處理應(yīng)用程序需要?dú)v史，全面和集成的數(shù)據(jù)，但其分析處理過程可能持續(xù)數(shù)小時，這會消耗大量系統(tǒng)資源. 人們逐漸意識到，用事務(wù)處理環(huán)境直接支持DSS是不可行的. 為了提高分析和決策的效率，必須將分析處理及其數(shù)據(jù)與操作處理及其數(shù)據(jù)分開. 必須從事務(wù)處理環(huán)境中提取分析數(shù)據(jù)，并根據(jù)DSS處理的需求進(jìn)行重組，并且必須建立單獨(dú)的分析處理環(huán)境. 數(shù)據(jù)倉庫技術(shù)是一種用于構(gòu)建這種新的分析處理環(huán)境的數(shù)據(jù)存儲和組織技術(shù). 操作數(shù)據(jù)分析訪問時，準(zhǔn)確或全面的數(shù)據(jù)細(xì)節(jié)是準(zhǔn)確的. 它代表過去的數(shù)據(jù). 無需更新操作要求即可進(jìn)行更新. 操作要求可以事先知道. 生命周期是未知的. SDLC與生命周期完全不同. 要求高，性能要求高，一次操作一次，一次單位一次，一次收集一次，事務(wù)驅(qū)動分析，面向應(yīng)用的分析，一個操作數(shù)據(jù)量，一個操作數(shù)據(jù)量，對日常操作的大支持，支持管理需求，數(shù)據(jù)倉庫和決策支持系統(tǒng)（DSS）用戶進(jìn)行決策時，您需要從企業(yè)的各個方面獲取信息，因此用戶通常首先根據(jù)每個企業(yè)的中的數(shù)據(jù)創(chuàng)建一個數(shù)據(jù)倉庫. 部門存儲各種歷史信息和摘要信息.

數(shù)據(jù)倉庫的進(jìn)一步應(yīng)用是通過功能強(qiáng)大的分析工具實(shí)現(xiàn)的. 當(dāng)前，有三種主要類型的分析工具可用于決策支持. 第一類可以支持涉及分組和聚集查詢的系統(tǒng)，并且可以支持各種復(fù)雜的布爾條件，統(tǒng)計(jì)函數(shù)和時間序列分析. 主要由上述查詢組成的應(yīng)用程序稱為聯(lián)機(jī)分析處理或OLAP. 在支持OLAP查詢的系統(tǒng)中，最好將數(shù)據(jù)視為多維數(shù)組. 第二種系統(tǒng)仍然是支持傳統(tǒng)SQL查詢的DBMS，但經(jīng)過專門設(shè)計(jì)可有效執(zhí)行OLAP查詢. 這些系統(tǒng)可以看作是為決策支持應(yīng)用程序優(yōu)化的關(guān)系系統(tǒng). 許多關(guān)系供應(yīng)商已經(jīng)擴(kuò)展了他們的產(chǎn)品，隨著時間的推移，專用OLAP系統(tǒng)和支持決策支持的關(guān)系系統(tǒng)之間的差異將逐漸消除. 第三類分析工具可用于在大量數(shù)據(jù)集中查找有意義的數(shù)據(jù)趨勢或模式，而不是上面提到的復(fù)雜數(shù)據(jù)查詢. 在數(shù)據(jù)分析的過程中，盡管分析人員可以確定所獲取的數(shù)據(jù)模式是否有意義，但很難生成查詢以獲取有意義的模式. 例如，分析人員查看使用記錄，并希望發(fā)現(xiàn)異常的使用行為，以表明該被濫用. 商家希望通過查看客戶記錄來尋找潛在客戶以提高收入. 許多應(yīng)用程序涉及大量數(shù)據(jù)，這些數(shù)據(jù)很難通過手動分析或傳統(tǒng)的統(tǒng)計(jì)分析方法進(jìn)行分析. 數(shù)據(jù)挖掘的目的是支持對大量數(shù)據(jù)的分析.

2. 數(shù)據(jù)倉庫的定義和特征WHInmon是數(shù)據(jù)倉庫理論的創(chuàng)始人，在他的《 Building DataWarehouse》一書中給出了數(shù)據(jù)倉庫的四個基本特征: 面向主題，數(shù)據(jù)集成，數(shù)據(jù)不可更新，數(shù)據(jù)不斷變化. 時間采購子系統(tǒng): 訂單（訂單號，供應(yīng)商編號，商品編號，類別，單價(jià). 數(shù)量，總金額，日期，...供應(yīng)商（供應(yīng)商編號，供應(yīng)商名稱，地址，電話，...）銷售子系統(tǒng): 客戶（客戶編號，名稱，地址，電話多維，...庫存子系統(tǒng): 倉儲訂單（編號，商品編號，數(shù)量，單價(jià)，日期，...庫存）（商品編號，倉庫編號，類別，單價(jià)，庫存數(shù)量，總金額，日期多維，...產(chǎn)品固有信息: 產(chǎn)品編號，類別，單價(jià)，顏色，...產(chǎn)品購買信息: 產(chǎn)品編號，類別，供應(yīng)商編號，供貨日期，單價(jià)，數(shù)量，...產(chǎn)品銷售信息: 產(chǎn)品編號，客戶編號編號，數(shù)量，單價(jià)，銷售日期商品主題字段: 采購子系統(tǒng)，銷售子系統(tǒng)，庫存子系統(tǒng)3，數(shù)據(jù)倉庫中的數(shù)據(jù)組織數(shù)據(jù)倉庫中的數(shù)據(jù)分為四個級別: 早期細(xì)節(jié)級別，當(dāng)前細(xì)節(jié)級別，輕微綜合級別，綜合水平高. 1985?1998銷售計(jì)劃1998?2003銷售計(jì)劃1998?2003月銷售計(jì)劃1998?2003季度銷售計(jì)劃DW還有一種重要的數(shù)據(jù)類型: 元數(shù)據(jù)（Metedata）.

元數(shù)據(jù)是“關(guān)于數(shù)據(jù)的數(shù)據(jù)”（RDBMS中的數(shù)據(jù)字典是元數(shù)據(jù)數(shù)據(jù)倉庫中的一種元數(shù)據(jù)，它描述數(shù)據(jù)的結(jié)構(gòu)，內(nèi)容，索引，代碼，數(shù)據(jù)轉(zhuǎn)換規(guī)則，粒度定義等. 4，數(shù)據(jù)倉庫系統(tǒng)結(jié)構(gòu)RDBMS數(shù)據(jù)文件，其他綜合數(shù)據(jù)，當(dāng)前數(shù)據(jù)，歷史數(shù)據(jù)，元數(shù)據(jù)提取，轉(zhuǎn)換，加載，數(shù)據(jù)倉庫，OLAP工具，DM工具，查詢工具，分析工具2.數(shù)據(jù)倉庫設(shè)計(jì). 數(shù)據(jù)倉庫的劃分分為以下三個階段: 數(shù)據(jù)倉庫的建模和分析主題領(lǐng)域，確定粒度級別，確定數(shù)據(jù)分段策略，構(gòu)建數(shù)據(jù)倉庫的存儲結(jié)構(gòu)和存儲策略，數(shù)據(jù)DSS應(yīng)用程序編程三，操作數(shù)據(jù)存儲（ODS在許多情況下，DB-DW的兩層體系結(jié)構(gòu)不適合企業(yè)數(shù)據(jù)處理要求. 因?yàn)�，盡管數(shù)據(jù)處理可以大致分為操作類型和分析類型，這兩種類型的處理沒有區(qū)別. ODS（運(yùn)營數(shù)據(jù)存儲）是一個中間級別. 一方面，它包含企業(yè)的整體一致性，詳細(xì)的，當(dāng)前的或接近于當(dāng)前的數(shù)據(jù)；另一方面，它是一個面向主題的集成數(shù)據(jù)環(huán)境，適合于日常決策的分析和處理. 四，數(shù)據(jù)倉庫的實(shí)現(xiàn)數(shù)據(jù)倉庫的工具主要包括: 數(shù)據(jù)預(yù)處理工具，數(shù)據(jù)分析（OLAP）工具，數(shù)據(jù)挖掘工具，OLAP服務(wù)器. 數(shù)據(jù)倉庫和OLAP工具基于多維數(shù)據(jù)模型（在數(shù)據(jù)倉庫中，數(shù)據(jù)通常以多維方式存儲.

）. 基本概念維度: 人們觀察數(shù)據(jù)的特定角度. 維度級別: 人們可能會在特定角度的數(shù)據(jù)中觀察到具有不同細(xì)節(jié)級別的描述的多個方面，我們稱之為維度級別. 多維分析的基本操作: 體積: 匯總數(shù)據(jù)，鉆取: 詳細(xì)數(shù)據(jù)，切片，旋轉(zhuǎn). 銷售量產(chǎn)品，月，月維度: 產(chǎn)品，位置，時間分層匯總路徑行業(yè)區(qū)域年份類別國家季度產(chǎn)品城市月份周辦公日總年銷售額USADate總和電視VCR PC 1Qtr 2Qtr 3Qtr 4Qtr美國加拿大墨西哥總和為a選擇了兩個維度一個月的產(chǎn)品銷售: 產(chǎn)品維度，區(qū)域維度，時間維度，數(shù)據(jù)切片，區(qū)域維度以及基于RDBMS的數(shù)據(jù)倉庫，以實(shí)現(xiàn)關(guān)系. 多維中的多維結(jié)構(gòu)分為兩類: 一類是事實(shí)表，用于存儲事實(shí)的度量值和每個維度的代碼值;另一個是維度表數(shù)據(jù)倉庫的設(shè)計(jì)模型: 星型，雪花模式和混合模式的數(shù)據(jù)倉庫設(shè)計(jì)也可以理解為面向OLAP的設(shè)計(jì).

在星型模式下，主數(shù)據(jù)存儲在事實(shí)表中，沒有冗余，并且符合3NF或BCNF. 尺寸值信息存儲在尺寸表中. 尺寸表通常不需要標(biāo)準(zhǔn)化. 主要原因是維表是靜態(tài)的，是否由于更新而導(dǎo)致異常并不重要. ProductsPid pname類別價(jià)格Location位置Locid城市州國家Pid timeid locid sales Timeid日期月季度年holiday_flag次銷售訂單號銷售人員編號客戶編號產(chǎn)品編號日期識別區(qū)域名稱數(shù)量總價(jià)訂單編號訂單日期客戶編號客戶名稱客戶地址銷售人員編號名稱市產(chǎn)品編號產(chǎn)品名稱單價(jià)日期識別事實(shí)表星型訂單號銷售人員編號客戶編號產(chǎn)品編號日期識別區(qū)域名稱數(shù)量總數(shù)價(jià)格訂單編號訂購日期客戶編號客戶名稱客戶地址銷售人員編號名稱城市產(chǎn)品編號產(chǎn)品名稱單位價(jià)格日期識別事實(shí)表雪花模式產(chǎn)品編號公司代碼公司代碼公司名稱地址五，SQL Server 2000數(shù)據(jù)倉庫工具數(shù)據(jù)轉(zhuǎn)換服務(wù)（DTS）用于將數(shù)據(jù)加載到數(shù)據(jù)倉庫中. 數(shù)據(jù)復(fù)制用于在分布式數(shù)據(jù)倉庫中分發(fā)和加載數(shù)據(jù). OLE DB提供了應(yīng)用程序和數(shù)據(jù)源之間的接口. API Analysis Service用于收集和分析數(shù)據(jù)倉庫中的數(shù)據(jù). 英文查詢提供英文查詢. 數(shù)據(jù)倉庫元數(shù)據(jù)服務(wù)瀏覽數(shù)據(jù)倉庫中的元數(shù)據(jù)PivotTable服務(wù)用于自定義客戶端界面以操作多維數(shù)據(jù). 數(shù)據(jù)倉庫或數(shù)據(jù)市場中的信息可以通過分析（OLAP）處理. OLAP可以通過測量多維數(shù)據(jù)集來有效地使用尺寸和查看數(shù)據(jù).

但是，存在這樣一個問題: 盡管OLAP聚合是可以在數(shù)據(jù)倉庫中實(shí)現(xiàn)的查詢性能的關(guān)鍵因素，但是存儲這些聚合數(shù)據(jù)的成本是磁盤存儲量. 實(shí)際上，總數(shù)據(jù)量很容易超過原始數(shù)據(jù)量. 另外，隨著尺寸和總體積的增加，所需的OLAP數(shù)據(jù)存儲量也會大大增加. 這種對存儲容量的巨大需求通常稱為數(shù)據(jù)爆炸. OLAP描述了多維數(shù)據(jù)服務(wù). 該服務(wù)旨在確保分析人員，管理人員和決策者可以通過快速，一致和交互式的實(shí)時數(shù)據(jù)訪問和針對特定問題的分析來獲得創(chuàng)造性的發(fā)現(xiàn). 在SQL Server 2000中，存在三種將維度數(shù)據(jù)存儲在數(shù)據(jù)倉庫中的方法，每種方法隨其數(shù)據(jù)存儲要求和數(shù)據(jù)檢索速度而變化. MOLAP: 多維OLAP將維度數(shù)據(jù)和事實(shí)數(shù)據(jù)存儲在用于壓縮索引的永久數(shù)據(jù)存儲中. 聚合存儲用于加速數(shù)據(jù)訪問. MOLAP查詢引擎是專有的，并且已針對MOLAP數(shù)據(jù)存儲所使用的存儲格式進(jìn)行了優(yōu)化. MOLAP提供了比ROLAP更快的查詢處理速度，并且需要更少的存儲空間. 但是，它的伸縮性不好，需要單獨(dú)的進(jìn)行存儲. ROLAP: 關(guān)系OLAP將總計(jì)存儲在關(guān)系數(shù)據(jù)表中. ROLAP的關(guān)系應(yīng)用程序允許它使用現(xiàn)有的資源，并允許R OLAP應(yīng)用程序很好地?cái)U(kuò)展.

但是，與MOLAP相比，ROLAP總共使用表存儲空間需要更多的磁盤空間，并且速度相對較高. HOLAP: 顧名思義，混合HOLAP位于MOLAP和ROLAP之間. 與ROLAP一樣，HOLAP將主數(shù)據(jù)存儲在源中. 像MOLAP一樣，HOLAP將總計(jì)存儲在與主關(guān)系分開的永久數(shù)據(jù)存儲中. 這種混合形式使HOLAP具有MOLAP和ROLAP的優(yōu)勢.

本文來自本站，轉(zhuǎn)載請注明本文網(wǎng)址：
http://www.pc-fly.com/a/jisuanjixue/article-248980-1.html