數(shù)據(jù)挖掘基于數(shù)據(jù)庫理論，機(jī)器學(xué)習(xí)，人工智能，現(xiàn)代統(tǒng)計學(xué)的迅速發(fā)展的交叉學(xué)科，在很多領(lǐng)域中都有應(yīng)用。涉及到很多的算法，源于機(jī)器學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，決策樹，也有基于統(tǒng)計學(xué)習(xí)理論的支持向量機(jī)，分類回歸樹，和關(guān)聯(lián)分析的諸多算法。數(shù)據(jù)挖掘的定義是從海量數(shù)據(jù)中找到有意義的模式或知識。

大數(shù)據(jù)是最近幾年提出來，也是媒體忽悠的一個概念。有三個重要的特征：數(shù)據(jù)量大，結(jié)構(gòu)復(fù)雜，數(shù)據(jù)更新速度很快。由于Web技術(shù)的發(fā)展，web用戶產(chǎn)生的數(shù)據(jù)自動保存、傳感器也在不斷收集數(shù)據(jù)，以及移動互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)自動收集、存儲的速度在加快，全世界的數(shù)據(jù)量在不斷膨脹，數(shù)據(jù)的存儲和計算超出了單個計算機(jī)(小型機(jī)和大型機(jī))的能力，這給數(shù)據(jù)挖掘技術(shù)的實施提出了挑戰(zhàn)(一般而言，數(shù)據(jù)挖掘的實施基于一臺小型機(jī)或大型機(jī)，也可以進(jìn)行并行計算)。Google提出了分布式存儲文件系統(tǒng)，發(fā)展出后來的云存儲和云計算的概念。

1.從結(jié)構(gòu)化數(shù)據(jù)到非結(jié)構(gòu)化數(shù)據(jù)。傳統(tǒng)的數(shù)據(jù)挖掘都是依據(jù)數(shù)據(jù)庫里面的數(shù)據(jù)進(jìn)行分析，在大數(shù)據(jù)時代，數(shù)據(jù)來源多種多樣，對于這些非結(jié)構(gòu)化數(shù)據(jù)的加工是大數(shù)據(jù)數(shù)據(jù)挖掘的重要特征。因為非結(jié)構(gòu)化數(shù)據(jù)處理的成功與否決定了大數(shù)據(jù)數(shù)據(jù)源的質(zhì)量好壞，而這并不是算法可以解決的。

2.從抽樣數(shù)據(jù)到全量數(shù)據(jù)。傳統(tǒng)數(shù)據(jù)挖掘受制于數(shù)據(jù)處理能力，只能使用少量的抽樣數(shù)據(jù)進(jìn)行分析。在大數(shù)據(jù)技術(shù)環(huán)境下，完全可以實現(xiàn)全量數(shù)據(jù)的分析，效率甚至可能高于抽樣數(shù)據(jù)的分析。

3.從因果關(guān)系到相關(guān)性分析。大數(shù)據(jù)分析通過事件和多種因素進(jìn)行相關(guān)性分析，通過數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的算法找到其關(guān)聯(lián)關(guān)系，并運用回歸分析從而實現(xiàn)預(yù)測。

數(shù)據(jù)挖掘的任務(wù)按照目標(biāo)可以分為4類：

1) 分類：通過分析訓(xùn)練集的數(shù)據(jù)，為每一個分類建立分類分析模型，用這個已知的規(guī)律對其他數(shù)據(jù)進(jìn)行分類

2) 回歸：建立因變量和自變量之間關(guān)系的模型

3) 聚類：將對象集合分成由類似的對象組成的多個類的過程

4) 關(guān)聯(lián)規(guī)則：尋找給定數(shù)據(jù)集合中各個因子之間的關(guān)聯(lián)關(guān)系

人們經(jīng)常見到的“邏輯回歸模型”、“神經(jīng)網(wǎng)絡(luò)模型”、“遺傳算法”、“決策樹”等等都是監(jiān)督學(xué)習(xí)過程的挖掘算法。這類算法在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)里面大量使用，是大數(shù)據(jù)公司必備的專業(yè)技能。極光大數(shù)據(jù)作為國內(nèi)領(lǐng)先的移動大數(shù)據(jù)服務(wù)商，在這方面的實際案例頗多，例如極光大數(shù)據(jù)團(tuán)隊利用神經(jīng)網(wǎng)絡(luò)算法預(yù)測個人前往某一個特定區(qū)域的概率和時間，準(zhǔn)確度可以達(dá)到80%以上;他們還利用神經(jīng)網(wǎng)絡(luò)算法和隨機(jī)森林算法對個人喜歡的移動應(yīng)用進(jìn)行推薦下載和推薦產(chǎn)品;此外，極光大數(shù)據(jù)團(tuán)隊還自主開發(fā)了空間軌跡相似度STS(spatial trajectory similarity)算法進(jìn)行同軌分析等。

數(shù)據(jù)挖掘技術(shù)隨著大數(shù)據(jù)時代的到來已變幻出更強(qiáng)的功能特征，而在大數(shù)據(jù)服務(wù)商的精耕細(xì)作下，也必將為各行業(yè)帶來進(jìn)步的動力。