數(shù)據(jù)的概念 2. 數(shù)據(jù)的內(nèi)容 3. 數(shù)據(jù)屬性及數(shù)據(jù)集 4. 數(shù)據(jù)特征的統(tǒng)計描述 5. 數(shù)據(jù)的可視化 6. 數(shù)據(jù)相似與相異性的度量 7. 數(shù)據(jù)質(zhì)量 8. 數(shù)據(jù)預(yù)處理

ETL大數(shù)據(jù)分析就業(yè)辦

第一階段內(nèi)容

模塊一 數(shù)據(jù)倉庫架構(gòu)概述

1. 數(shù)據(jù)倉庫概述

2. 數(shù)據(jù)庫

3. 混合型數(shù)據(jù)中心之大數(shù)據(jù)平臺

4. 混合型數(shù)據(jù)中心參考架構(gòu)

模塊二 ORACLE-SQL基礎(chǔ)

1. 數(shù)據(jù)庫控制 2.?數(shù)據(jù)庫對象

模塊三 ORACLE-PLSQL

1. SQL語言的基本結(jié)構(gòu)? 2. PLSQL高級編程

模塊四 數(shù)據(jù)挖掘理論基礎(chǔ)

1. 數(shù)據(jù)的概念 2. 數(shù)據(jù)的內(nèi)容 3. 數(shù)據(jù)屬性及數(shù)據(jù)集 4. 數(shù)據(jù)特征的統(tǒng)計描述 5. 數(shù)據(jù)的可視化 6. 數(shù)據(jù)相似與相異性的度量 7. 數(shù)據(jù)質(zhì)量 8. 數(shù)據(jù)預(yù)處理

模塊五 大數(shù)據(jù)ETL基礎(chǔ)

1. 從數(shù)據(jù)庫到數(shù)據(jù)倉庫 2. 數(shù)據(jù)倉庫的架構(gòu) 3. 數(shù)據(jù)倉庫的數(shù)據(jù)模型 4. ETL技術(shù) 5. 聯(lián)機分析處理--OLAP 6. OLAP的數(shù)據(jù)模型

第二階段內(nèi)容

模塊一 大數(shù)據(jù)的加工與處理

1. 抽取工具的特征 2. KETTLE的使用

模塊二 數(shù)據(jù)挖掘的應(yīng)用

1. 數(shù)據(jù)挖掘的起源 2. 數(shù)據(jù)挖掘的定義 3. 數(shù)據(jù)挖掘的任務(wù) 4. 數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程

模塊三 Linux

1. Linux系統(tǒng)詳解 2. Linux系統(tǒng)進程 3. Linux啟動流程 4. vi、vim編輯器 5. Linux用戶和組賬戶管理 6. Linux磁盤管理 7. Linux系統(tǒng)文件權(quán)限管理 8. Linux的RPM軟件包管理 9. yum 10. Linux網(wǎng)絡(luò) 11. Shell編程 12. Linux上常見軟件的安裝

模塊四 Hadoop

1. Hadoop概述 2. HDFS 3. Mapreduce 4. Mapreducer案例 5. Hadoop2.x集群

第三階段內(nèi)容

模塊一 HBase

1. HBase與RDBMS的對比 2. 數(shù)據(jù)模型 3. 系統(tǒng)架構(gòu) 4. HBase上的MapReduce 5. 表的設(shè)計 6. 集群的搭建過程講解 7. 集群的監(jiān)控 8. 集群的管理 9. HBase Shell以及演示 10. Hbase樹形表設(shè)計 11. Hbase一對多和多對多表設(shè)計 12. Hbase微博案例 13. Hbase訂單案例 14. Hbase表級優(yōu)化 15. Hbase數(shù)據(jù)讀寫優(yōu)化

模塊二 Hive

1. 數(shù)據(jù)倉庫基礎(chǔ)知識 2. Hive定義 3. Hive體系結(jié)構(gòu)簡介 4. Hive集群 5. 客戶端簡介 6. HiveQL定義 7. HiveQL與SQL的比較 8. 數(shù)據(jù)類型 9. 外部表和分區(qū)表 10. DDL與CLI客戶端演示

第四階段內(nèi)容

模塊一 Sqoop

1. 配置和介紹Sqoop 2. Sqoop shell使用 3. Sqoop- import 4. DBMS- hdfs 5. DBMS- hive 6. DBMS- hbase 7. Sqoop- export

模塊二 Flume

1. flume簡介-基礎(chǔ)知識 2. flume安裝與測試 3. flume部署方式 4. flume source相關(guān)配置及測試 5. flume sink相關(guān)配置及測試 6. flume selector 相關(guān)配置與案例分析 7. flume Sink Processors相關(guān)配置和案例分析 8. flume Interceptors相關(guān)配置和案例分析 9. flume AVRO Client開發(fā) 10. flume和kafka 的整合

模塊三 Zookeeper

1. Zookeeper java API開發(fā) 2. Zookeeper RMI高可用分布式集群開發(fā) 3. Zookeeper REDIS高可用監(jiān)控實現(xiàn) 4. NETTY異步IO通信框架 5. Zookeeper實現(xiàn)NRTTY分布式架構(gòu)的高可用

第五階段內(nèi)容

模塊一 Hue

1. Cloudera Hadoop Manager的分布式集群部署搭建 2. 基于文件瀏覽器（File Browser）訪問HDFS 3. 基于Hive編輯器來開發(fā)和運行Hive查詢 4. 基于Solr進行搜索的應(yīng)用，并提供可視化的數(shù)據(jù)視圖，以及儀表板（Dashboard） 5. 基于Impala的應(yīng)用進行交互式查詢 6. Spark編輯器和儀表板（Dashboard） 7. Oozie編輯器，可以通過儀表板提交和監(jiān)控Workflow、Coordinator和Bundle

模塊二 Python編程

1.介紹Python以及特點 2. Python的安裝 3. Python基本操作（注釋、邏輯、字符串使用等） 4. Python數(shù)據(jù)結(jié)構(gòu)（元組、列表、字典） 5. 使用Python進行批量重命名 6. Python常見內(nèi)建函數(shù) 7. Python函數(shù)及使用常見技巧 8. Python異常的處理 9. Python函數(shù)的參數(shù)講解

第六階段內(nèi)容

模塊一 Scala編程

1. scala解釋器、變量、常用數(shù)據(jù)類型等 2. scala的條件表達式、輸入輸出、循環(huán)等控制結(jié)構(gòu) 3. scala的函數(shù)、默認參數(shù)、變長參數(shù)等 4. scala的數(shù)組、變長數(shù)組、多維數(shù)組等 5. scala的映射、元組等操作 6. scala的類，包括bean屬性、輔助構(gòu)造器、主構(gòu)造器 7. scala的對象、單例對象、伴生對象、擴展類、apply方法

模塊二 Spark-Score

1. Spark介紹 2. Spark應(yīng)用場景 3. Spark和Hadoop MR、Storm的比較和優(yōu)勢 4. RDD 5. Transformation 6. Action 7. Spark計算PageRank 8. Lineage 9. Spark模型簡介 10. Spark緩存策略和容錯處理 11. 寬依賴與窄依賴

第七階段內(nèi)容

模塊一 Spark-Streaming

1. Spark Streaming：數(shù)據(jù)源和DStream 2. sparksql 編程實戰(zhàn) 3 spark的多語言操作 4. spark新版本的新特性

模塊二 Kafka

1. kafka是什么 2. kafka體系結(jié)構(gòu) 3. kafka的存儲策略 4. java編程操作kafka 5. scala編程操作kafka 6. flume和kafka的整合 7. Kafka和storm的整合

模塊三 Storm

1. Storm的基本概念 2. Storm的應(yīng)用場景 3. Storm集群搭建 4. Storm配置文件配置項講解 5. 集群搭建常見問題解決

模塊四 Hadoop項目實戰(zhàn)

1.項目實戰(zhàn)一 2.項目實戰(zhàn)二

 

數(shù)據(jù)倉庫項目簡介： 整合各個業(yè)務(wù)線數(shù)據(jù)，為各個業(yè)務(wù)系統(tǒng)提供統(tǒng)一&規(guī)范的數(shù)據(jù)出口。是整個大數(shù)據(jù)系統(tǒng)中的關(guān)鍵，是所有數(shù)據(jù)分析、數(shù)據(jù)挖掘等工作的基礎(chǔ)。

數(shù)倉項目開發(fā)流程： 技術(shù)選型-數(shù)據(jù)采集-數(shù)倉設(shè)計-數(shù)倉開發(fā)-任務(wù)調(diào)度-項目優(yōu)化。 項目性能指標(biāo)： 滿足日增100T+數(shù)據(jù)處理；查詢速度滿足秒級查詢。 項目收獲： 學(xué)習(xí)并掌握數(shù)據(jù)倉庫的分層設(shè)計&數(shù)據(jù)倉庫從0~1的構(gòu)建過程。

 

熱線監(jiān)控項目簡介： 對整個監(jiān)控系統(tǒng)的一個可視化數(shù)據(jù)大屏展示，分別體現(xiàn)出訴求業(yè)務(wù)總量，轉(zhuǎn)辦案件排名，資訊業(yè)務(wù)重量，來電資訊分類等數(shù)據(jù)進行分析。

學(xué)校地址：山東.青島