資料探勘視覺化系統設計與實現

2022-10-12 01:45:05 字數 809 閱讀 8196

作者:楊健章關婷婷曲婷婷王璐

**:《科技創新與應用》2023年第16期

摘要:針對當前資料視覺化工具的種類、質量和靈活性上存在的不足,構建乙個資料探勘視覺化平台。將獲取的資料集上傳到系統分布式資料庫中,對資料集進行預處理,利用mahout提供的分類、聚類等挖掘演算法對資料集進行挖掘,使用echarts將挖掘產生的結果進行視覺化展示。

關鍵詞:資料探勘;視覺化展示;資料預處理;挖掘演算法

引言在大資料時代,通過資料探勘可以對資料庫中的大量業務資料進行抽取、轉換、分析和其他模型化處理,從而提取輔助商業決策的關鍵性資訊,幫助企業做出決策。豐富而靈活的資料探勘結果視覺化技術使抽象的資訊以簡明的形式呈現出來,加深使用者對資料含義的理解,更好地了解資料之間的相互關係和發展趨勢。然而當前資料視覺化工具的種類、質量和靈活性較大的影響資料探勘系統的使用、解釋能力和吸引力。

這就需要使用分布式大資料處理技術進行資料的儲存和計算,構建乙個資料探勘視覺化平台,通過多種挖掘演算法實現對原始資料集進行挖掘,從而發現資料中有用的資訊。

1 關鍵技術

1.1 mapreduce離線計算框架

一種在yarn系統之上的大數集離線計算框架,使用mapreduce可以並行的對原始資料集進行計算處理,從而高效的得出結果。

1.2 hbase分布式資料庫

乙個構建在hadoop之上分布式的、面向列的開源資料庫。hbase不同於一般的關聯式資料庫,它是乙個適合於非結構化資料儲存的資料庫。

1.3 mahout

apache software foundation旗下的乙個開源專案,提供一些可擴充套件的機器學習領域經典演算法的實現,包括聚類、分類、推薦過濾、頻繁子項挖掘等。

微課程設計中知識視覺化實現方式研究 2

摘要 眾所周知微課程是21世紀 學習與移動學習的重要學習資源。如何利用視覺化這種直觀的 更容易感知的圖示方式來表徵資訊和加工資訊是十分有必要的。將視覺化理論運用到微課程的設計中,能夠有效地提高微課程質量,改善微課程在教學中的一些不足,從而幫助學習者更好的獲取知識完成 學習文章梳理了微課程上網基本概念...

菸草業視覺化管理系統測試計畫

檔案編號 hn863 3 js 07 記錄編號 jh 091123ayyc a v1.0 01 測試計畫 編制 王亞平2009年11月23日 審核 張明娟2009年11月23日 批准 國玉風2009年11月23日 河南省863軟體孵化器 軟體評測中心 宣告本測試文件中的各項內容僅供廠商或使用者參考。...

煤礦視覺化監管系統管理規定

一 一般規定 1 視覺化監管系統實時 資訊,傳輸至安全生產資訊中心和科區值班室 崗位監控室,礦安全生產資訊中心和科區值班室 值班崗位對 資訊進行顯示 儲存 監管 處置,並實現雙向通訊,可以進行安全確認。礦副總以上領導 科區正職要通過手機等移動通訊裝置隨時對管轄地點進行 資訊監控。2 機電礦長對視覺化...