新南威爾士大學(xué)COMP9313課程介紹了管理大數(shù)據(jù)所涉及的核心概念和技術(shù)。詳細(xì)來(lái)說(shuō)，課程首先介紹了大數(shù)據(jù)和大數(shù)據(jù)分析的特點(diǎn)。然后研究了開源大數(shù)據(jù)管理框架Hadoop。主要集中在Hadoop MapReduce的學(xué)習(xí)上，HDFS、HBase、Hive都有所涉及。課程還探索了一個(gè)開源的基于內(nèi)存的分布式計(jì)算框架Spark。課程的另一個(gè)重點(diǎn)是基于大數(shù)據(jù)管理框架的大規(guī)模數(shù)據(jù)集的算法設(shè)計(jì)，涉及多個(gè)領(lǐng)域，如鏈接分析、數(shù)據(jù)流挖掘、圖形數(shù)據(jù)處理和推薦系統(tǒng)。很多同學(xué)會(huì)問(wèn)，COMP9313這門課如何才能避免掛科？下面是一些小Tips。

一、明確課程目標(biāo)

COMP9313旨在介紹大數(shù)據(jù)背后的概念、管理大規(guī)模數(shù)據(jù)集時(shí)使用的核心技術(shù)，以及開發(fā)大規(guī)模數(shù)據(jù)分析問(wèn)題解決方案的一系列技術(shù)。

課程面向的是希望了解現(xiàn)代大規(guī)模數(shù)據(jù)分析系統(tǒng)的學(xué)生。涵蓋了廣泛的主題和技術(shù)，將幫助學(xué)生做好構(gòu)建此類系統(tǒng)的準(zhǔn)備，并依此來(lái)高效地應(yīng)對(duì)大數(shù)據(jù)管理中的挑戰(zhàn)。

二、掌握假定知識(shí)

這門課的先決條件是COMP9024和COMP9311。課程開始之前，學(xué)生應(yīng)該：

1、具有算法設(shè)計(jì)的經(jīng)驗(yàn)和良好的知識(shí)(相當(dāng)于COMP9024)；

2、具有扎實(shí)的數(shù)據(jù)庫(kù)系統(tǒng)知識(shí)(相當(dāng)于COMP9311)；

3、具有扎實(shí)的Java編程技能(或Python)；

4、熟悉Unix風(fēng)格的操作系統(tǒng)(非常重要)；

5、具備線性代數(shù)(如向量空間、矩陣乘法)、概率論、統(tǒng)計(jì)學(xué)和圖論的基礎(chǔ)知識(shí)。

三、把握課程關(guān)鍵

1、Hadoop MapReduce

2、Spark

3、流數(shù)據(jù)挖掘

4、NoSQL、HBase和Hive

5、推薦系統(tǒng)

四、了解評(píng)估重點(diǎn)

課程將通過(guò)以下方式對(duì)同學(xué)進(jìn)行評(píng)估：Coding Project 1-3(10%、15%、20%)，Assignment(5%)，F(xiàn)inal Exam(50%)。因此要清楚地了解評(píng)估的重點(diǎn)：

1、描述大數(shù)據(jù)的重要特征；

2、為大數(shù)據(jù)存儲(chǔ)庫(kù)開發(fā)適當(dāng)?shù)拇鎯?chǔ)結(jié)構(gòu)；

3、利用map/reduce范式和Spark平臺(tái)來(lái)處理大數(shù)據(jù)；

4、使用高級(jí)查詢語(yǔ)言處理大數(shù)據(jù)；

5、為涉及大數(shù)據(jù)的分析問(wèn)題開發(fā)高效的解決方案。

整體來(lái)講，新南威爾士大學(xué)COMP9313這門課程包括講座和實(shí)際工作。講座旨在總結(jié)概念和介紹案例研究。實(shí)驗(yàn)練習(xí)的目的是鞏固課堂上所涉及的主題(不進(jìn)行評(píng)估)，而作業(yè)和項(xiàng)目的目的也是一樣的(要進(jìn)行評(píng)估)。課程將著重于解決大規(guī)模數(shù)據(jù)集的問(wèn)題。如果同學(xué)能明確課程目標(biāo)、掌握假定知識(shí)、把握課程關(guān)鍵內(nèi)容，了解課程評(píng)估重點(diǎn)，并基于此來(lái)規(guī)劃學(xué)習(xí)，應(yīng)該就可以最大程度地避免掛科。