課程內(nèi)容：

本課程旨在向?qū)W生介紹數(shù)據(jù)工程技術(shù)與數(shù)據(jù)科學(xué)的復(fù)雜結(jié)合，從而有可能從 “大數(shù)據(jù) ”中提取有價(jià)值的知識(shí)。數(shù)據(jù)的高容量和高多樣性以及數(shù)據(jù)質(zhì)量的可變性帶來(lái)了一系列技術(shù)挑戰(zhàn)，根據(jù)數(shù)據(jù)是靜止的（駐留在數(shù)據(jù)存儲(chǔ)庫(kù)中）還是運(yùn)動(dòng)的（數(shù)據(jù)流，例如由傳感器產(chǎn)生的數(shù)據(jù)流）進(jìn)行了區(qū)分，并進(jìn)一步強(qiáng)調(diào)了圖數(shù)據(jù)結(jié)構(gòu)。

本課程將重點(diǎn)關(guān)注以下方面：

- 在云環(huán)境中托管的計(jì)算節(jié)點(diǎn)集群上分配數(shù)據(jù)處理，作為一種隨著待處理數(shù)據(jù)規(guī)模的增加而擴(kuò)展計(jì)算資源的方法。

- 可成功并行化從而利用分布式數(shù)據(jù)架構(gòu)的算法實(shí)例。

- 可對(duì)數(shù)據(jù)流進(jìn)行近乎實(shí)時(shí)分析的計(jì)算模型。

- 專業(yè)數(shù)據(jù)結(jié)構(gòu)，特別是圖。這涉及到圖數(shù)據(jù)庫(kù)（Neo4J）的基礎(chǔ)知識(shí)，以及大規(guī)模并行圖算法，即使用 Pregel 框架實(shí)現(xiàn)的算法。

- 數(shù)據(jù)科學(xué)應(yīng)用實(shí)例，包括由大數(shù)據(jù)技術(shù)支持的機(jī)器學(xué)習(xí)算法。

此外，課程還強(qiáng)調(diào)了該領(lǐng)域技術(shù)的快速發(fā)展，并為深入學(xué)習(xí)和深入探討特定主題提供了前沿的進(jìn)一步閱讀材料。

教學(xué)大綱：

1. 數(shù)據(jù)科學(xué)和數(shù)據(jù)分析簡(jiǎn)介。并行處理的可擴(kuò)展性和效率。

2. 批量大數(shù)據(jù)處理（MapReduce）。

3. 大數(shù)據(jù)分析和機(jī)器學(xué)習(xí)的計(jì)算環(huán)境。

4. 大數(shù)據(jù)平臺(tái)（Databricks）、Spark。

5. 數(shù)據(jù)流處理：實(shí)時(shí)事件處理和查詢概述。

6. 圖數(shù)據(jù)處理：圖分析算法示例、圖數(shù)據(jù)庫(kù)和查詢語(yǔ)言（GDBMS）、大規(guī)模并行圖處理模型（Pregel）。