引 言

    隨著數(shù)據(jù)庫技術(shù)的廣泛應用,以及人們對當今社會信息的高層次需求,以事務處理為核心、支持業(yè)務操作環(huán)境與平臺的數(shù)據(jù)庫技術(shù)已不能適應人們在分析和決策層次上的需要。為了有效地為企業(yè)和政府的管理與決策過程提供重要的信息,需要根據(jù)決策的需要收集來自企業(yè)內(nèi)外的有關(guān)數(shù)據(jù),并加以適當?shù)慕M織處理,以形成一個綜合的面向決策的環(huán)境。

1 數(shù)據(jù)倉庫及其體系結(jié)構(gòu)

    20世紀90年代初期,W.H.Inmon在5Building the Data Warehouse6一書中第一次提出了數(shù)據(jù)倉庫(Data Warehouse,簡稱DW)的概念,并將它定義為:面向主題的、集成的、與時間相關(guān)的、穩(wěn)定的數(shù)據(jù)集合。所謂面向主題,是指按主題來組織數(shù)據(jù),按不同的決策和分析來綜合和歸并數(shù)據(jù);所謂集成,是指將來自不同數(shù)據(jù)庫中的數(shù)據(jù)進行統(tǒng)一和綜合;所謂與時間相關(guān)是指可以根據(jù)決策的需要不斷地添加一些新的數(shù)據(jù),刪除一些舊的數(shù)據(jù);所謂穩(wěn)定是指集成以后的數(shù)據(jù)在內(nèi)容上保持較長時間的不變。

    與傳統(tǒng)數(shù)據(jù)庫顯著不同的是,數(shù)據(jù)倉庫是一種服務于高層決策的數(shù)據(jù)庫,它不僅采集、組織和存儲大量的來自地理位置分散、構(gòu)造各異的信息源的數(shù)據(jù),而且還通過對這些歷史數(shù)據(jù)的加工和變換,得到一系列用于決策分析的數(shù)據(jù),利用這些數(shù)據(jù)可以更好地為用戶提供決策支持。其次,數(shù)據(jù)倉庫是一種面向主題的數(shù)據(jù)庫,它按主題來組織數(shù)據(jù),按決策和分析的需要來提煉和凈化數(shù)據(jù)。另外,數(shù)據(jù)倉庫是一種包含歷史數(shù)據(jù)的數(shù)據(jù)庫,其中的數(shù)據(jù)不僅用于檢索等基本操作,還用于分析整個組織的運行狀態(tài),以及未來的發(fā)展趨勢。

    構(gòu)建數(shù)據(jù)倉庫的關(guān)鍵是ETL(Extract,Transform, Loading)技術(shù),即如何準確、安全、可靠地從各種不同的業(yè)務數(shù)據(jù)庫中抽取數(shù)據(jù),并經(jīng)轉(zhuǎn)換、清洗以及集成后載入數(shù)據(jù)倉庫。自數(shù)據(jù)倉庫的概念提出以后,世界上不少著名的計算機公司(如IBM,Oracle等)都紛紛對此展開深入的研究,并相繼提出各自的研究方案。雖然這些方案各有特色,但基本的框架一般都是通過數(shù)據(jù)采集和處理工具將各數(shù)據(jù)源的數(shù)據(jù)集成并載入數(shù)據(jù)倉庫(如圖1所示)。
 

圖1.數(shù)據(jù)倉庫基本框架圖

    (1)數(shù)據(jù)源。可以為普通的業(yè)務數(shù)據(jù)庫,也可以是特定的數(shù)據(jù)文件或其他的數(shù)據(jù)源。
    (2)數(shù)據(jù)采集和處理。負責從各數(shù)據(jù)源中抽取數(shù)據(jù),并經(jīng)轉(zhuǎn)換、集成后載入數(shù)據(jù)倉庫。
    (3)數(shù)據(jù)倉庫。存儲兩類數(shù)據(jù)。一類是元數(shù)據(jù),它是數(shù)據(jù)倉庫的基本構(gòu)成單元,主要用于記錄數(shù)據(jù)的結(jié)構(gòu)以及數(shù)據(jù)倉庫的變化;另一類是實視圖,它是供決策人員分析處理用的數(shù)據(jù)。
    (4)應用。主要是服務于決策的在線分析(On-Line Analytical Processing,簡稱OLAP)和數(shù)據(jù)挖掘(Data Mining,簡稱DM)。

    由上述基本框架圖可以看出,數(shù)據(jù)倉庫不是一種軟件產(chǎn)品,而是一種綜合的解決方案。它將原始的數(shù)據(jù)處理并轉(zhuǎn)換成服務于決策的綜合數(shù)據(jù),并提供一組功能強大的分析工具對其進行多層次、多方位的分析處理。其次,數(shù)據(jù)倉庫要提供高質(zhì)量的數(shù)據(jù)和服務,必須注意數(shù)據(jù)的一致性、完整性、準確性以及可用性。現(xiàn)有的數(shù)據(jù)倉庫模型未能充分考慮到這一點。通過擴展元數(shù)據(jù)庫的方式,在元數(shù)據(jù)庫中融入質(zhì)量維度的質(zhì)量模型,建立系統(tǒng)化的測量和提高數(shù)據(jù)質(zhì)量的方法體系,可以較好地解決數(shù)據(jù)倉庫的質(zhì)量問題。

2 基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘技術(shù)

    構(gòu)建數(shù)據(jù)倉庫的最終目標是為了從各類海量數(shù)據(jù)中提取出對有關(guān)決策和管理活動具有重要指導意義的規(guī)律性知識。但是,由于各類數(shù)據(jù)是分散于若干業(yè)務數(shù)據(jù)庫或其他數(shù)據(jù)源中,因此,要得到對各類決策分析有用的知識,必須具有相應的從海量數(shù)據(jù)中提取價值信息的工具。數(shù)據(jù)挖掘就是用來挖掘價值信息的工具。

    數(shù)據(jù)挖掘這一概念是由G.Piatetsky-Shapior,W.J.Frawley等人在1989年8月召開的第11屆國際人工智能學術(shù)會議上提出的。它是數(shù)據(jù)庫技術(shù)和人工智能、數(shù)理統(tǒng)計等學科相結(jié)合的產(chǎn)物,是一個多學科相互交叉的具有廣泛應用前景的新興研究領(lǐng)域,并利用人工智能和數(shù)理統(tǒng)計中一些較成熟的方法和技術(shù),如規(guī)則推理、人工神經(jīng)網(wǎng)絡(luò)、決策樹、鄰近搜索等。因此,也有人把它稱為數(shù)據(jù)庫中的知識發(fā)現(xiàn)(Knowledge Discovery in Database,簡稱KDD)。對數(shù)據(jù)挖掘這一概念的定義,一般認為是一種從大量數(shù)據(jù)中獲取潛在規(guī)律和知識的方法和技術(shù),是一個從大量數(shù)據(jù)中發(fā)掘潛在的、新穎的、可用的以及最終可理解的模式的高級過程。

    面向主題、數(shù)據(jù)集成、與時間相關(guān)以及穩(wěn)定是數(shù)據(jù)倉庫區(qū)別于數(shù)據(jù)庫的顯著特點,實現(xiàn)決策支持是數(shù)據(jù)倉庫的最終應用目標,而數(shù)據(jù)挖掘則是實現(xiàn)數(shù)據(jù)倉庫最終目標的有力工具。因此,在實際應用中,數(shù)據(jù)挖掘和數(shù)據(jù)倉庫密不可分。數(shù)據(jù)倉庫是數(shù)據(jù)挖掘的基礎(chǔ)和平臺,為數(shù)據(jù)挖掘提供必要的數(shù)據(jù)準備,數(shù)據(jù)挖掘則是在數(shù)據(jù)倉庫的基礎(chǔ)上進一步發(fā)掘?qū)�實際決策過程有益的知識和信息。

    數(shù)據(jù)挖掘系統(tǒng)的基本結(jié)構(gòu)圖如圖2所示。
 

圖2.數(shù)據(jù)挖掘系統(tǒng)結(jié)構(gòu)圖

    (1)數(shù)據(jù)采集與處理。根據(jù)數(shù)據(jù)挖掘的目標,從數(shù)據(jù)倉庫中選取相關(guān)的數(shù)據(jù)集合,并對其進行數(shù)據(jù)一致性和數(shù)據(jù)完整性的檢查。
    (2)知識庫。主要用于數(shù)據(jù)挖掘和知識評價。利用知識庫中提供的有關(guān)知識,可以指導數(shù)據(jù)挖掘過程中的搜索操作,以及評價挖掘所得的結(jié)果數(shù)據(jù)(這些數(shù)據(jù)可以是概念,也可以是規(guī)則或模式)的興趣度。
    (3)數(shù)據(jù)挖掘。主要是對數(shù)據(jù)倉庫中提取的有關(guān)數(shù)據(jù)進行聚類、估值、分類、預言、關(guān)聯(lián)和描述等分析處理。
    a.聚類。將相似的數(shù)據(jù)置于一類,目的在于描述數(shù)據(jù)的共同特征。
    b.估值。處理未知連續(xù)變量的輸出。
    c.分類。描述離散變量的輸出。典型的有線形回歸分類、決策樹分類、基于規(guī)則的分類以及神經(jīng)網(wǎng)絡(luò)分類等。
    d.預言。通過估值或分類得到模型,以用于未來未知變量的評估。
    e.關(guān)聯(lián)。挖掘數(shù)據(jù)或特征間的內(nèi)在聯(lián)系。
    f.描述。表示數(shù)據(jù)挖掘的結(jié)果。
    (4)知識評價。以興趣度作為衡量標準來查找和選擇對最終決策活動有益的知識,并以概念、規(guī)則、規(guī)律、模式、約束或可視化的形式來表示結(jié)果知識。基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘是一種對數(shù)據(jù)倉庫中的數(shù)據(jù)進行深層次的加工和處理過程,也是一種實現(xiàn)數(shù)據(jù)倉庫決策價值的方法和工具。通過對數(shù)據(jù)倉庫中大量歷史數(shù)據(jù)的更高層次的抽象,不僅反映了數(shù)據(jù)間的內(nèi)在聯(lián)系和特性,同時也獲得了許多直接用于決策分析的有用信息。

3 數(shù)據(jù)挖掘在實際決策支持系統(tǒng)中的應用

    數(shù)據(jù)挖掘是在數(shù)據(jù)倉庫的基礎(chǔ)上進行的深層的數(shù)據(jù)分析過程,它能揭示大量數(shù)據(jù)中隱含的、潛在的、有用的和感興趣的信息,并為用戶提供較好的決策支持。

    自數(shù)據(jù)倉庫和數(shù)據(jù)挖掘技術(shù)出現(xiàn)至今,許多大公司、大企業(yè)紛紛構(gòu)建自己的數(shù)據(jù)倉庫,并通過對數(shù)據(jù)倉庫中大量歷史數(shù)據(jù)的挖掘,得到許多有用的信息,以支持企業(yè)內(nèi)部的生產(chǎn)經(jīng)營管理過程中的決策控制。實際的數(shù)據(jù)挖掘過程一般包括以下幾個步驟:

    (1)了解行業(yè)背景,熟悉基本數(shù)據(jù);
    (2)確定數(shù)據(jù)挖掘的目標;
    (3)選取數(shù)據(jù)倉庫中相應的數(shù)據(jù)集合;
    (4)給出合適的挖掘算法;
    (5)進行實際的數(shù)據(jù)挖掘;
    (6)對所得的結(jié)果知識進行評價并輸出。
    目前,數(shù)據(jù)挖掘的主要應用領(lǐng)域有:市場分析和預測;生產(chǎn)過程優(yōu)化;股票分析和預測;金融風險分析;氣象預報等。例如,針對本單位的人力資源管理需要,構(gòu)建本單位的人力資源數(shù)據(jù)倉庫,并利用選擇樹分類器對其進行數(shù)據(jù)挖掘。針對旅游業(yè)的管理需要,構(gòu)建旅游業(yè)數(shù)據(jù)倉庫,并利用決策樹分類器挖掘其中的深層次規(guī)則。針對零售連鎖業(yè)的發(fā)展需要,構(gòu)建連鎖超市數(shù)據(jù)倉庫,并通過對其進行數(shù)據(jù)挖掘?qū)崿F(xiàn)連鎖超市銷售分析與預測。

    雖然這些基于數(shù)據(jù)倉庫和數(shù)據(jù)挖掘技術(shù)的實際決策支持系統(tǒng)的設(shè)計各有特色,但其基本的框架可以用一個簡單的模型來刻畫,如圖3所示。
 

圖3.決策支持系統(tǒng)模型圖

    在實現(xiàn)實際的決策支持系統(tǒng)時,系統(tǒng)首先通過數(shù)據(jù)采集與加工模塊將各數(shù)據(jù)源中數(shù)據(jù)載入數(shù)據(jù)倉庫,然后各用戶再通過數(shù)據(jù)挖掘和在線分析來分析處理來自數(shù)據(jù)倉庫的數(shù)據(jù),并得到一系列用于實際決策過程的有用知識和信息。其中,數(shù)據(jù)挖掘是系統(tǒng)的核心部件,是決定數(shù)據(jù)倉庫決策價值的關(guān)鍵環(huán)節(jié)。

4 結(jié)束語

    數(shù)據(jù)挖掘是一個基于數(shù)據(jù)倉庫的有效的輔助決策支持工具,利用它可以發(fā)現(xiàn)數(shù)據(jù)倉庫中許多未知的、潛在的、深層次的和有價值的信息。因此,在當前的企業(yè)和政府等部門的決策活動中發(fā)揮著重要的作用。目前,該技術(shù)的一個重要的發(fā)展方向是多維數(shù)據(jù)挖掘(OLDM),它既具有DM處理的深入性,又兼有OLAP的在線分析性和靈活性,利用該技術(shù)來實現(xiàn)決策支持將會具有更大的指導意義和決策價值。                      

核心關(guān)注：拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務領(lǐng)域、行業(yè)應用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務管理理念，功能涉及供應鏈、成本、制造、CRM、HR等眾多業(yè)務領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。

轉(zhuǎn)載請注明出處：拓步ERP資訊網(wǎng)http://m.vmgcyvh.cn/

本文標題：基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘技術(shù)分析研究

本文網(wǎng)址：http://m.vmgcyvh.cn/html/consultation/10819416341.html