機(jī)器學(xué)習(xí)算法的基本知識（使用Python和R代碼）

　　本篇 文章 是 原文 的譯文，然后自己對其中做了一些修改和添加內(nèi)容(隨機(jī)森林和降維算法)。文章簡潔地介紹了機(jī)器學(xué)習(xí)的主要算法和一些偽 代碼 ，對于 初學(xué)者 有很大幫助，是一篇不錯的 總結(jié) 文章，后期可以通過文中提到的算法展開去做一些實際問題。

　　引言

　　Google 的自駕車和機(jī)器人得到了很多新聞，但公司的真正未來是機(jī)器學(xué)習(xí)，這種技術(shù)使計算機(jī)變得更 智能 ，更個性化。-Eric Schm id t (Google Chair man)

　　我們可能生活在人類歷史上最具影響力的時期——計算從大型 主機(jī) 到PC移動到 云 計算的時期。 但是使這段時期有意義的不是發(fā)生了什么，而是在未來幾年里我們的方式。

　　這個時期令像我這樣的一個人興奮的就是，隨著計算機(jī)的推動，工具和技術(shù)的民主化。 今天，作為 數(shù)據(jù)科學(xué) 家，我可以每小時為幾個玩偶構(gòu)建具有復(fù)雜算法的 數(shù)據(jù) 處理機(jī)。 但到達(dá)這里并不容易，我已經(jīng)度過了許多黑暗的日日夜夜。

　　誰可以從本指南中獲益最多

　　我今天發(fā)布的可能是我創(chuàng)造的最有價值的指南。

　　創(chuàng)建本指南背后的理念是簡化全球有抱負(fù)的數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)愛好者的旅程。 本指南能夠使你在研究機(jī)器學(xué)習(xí)問題的過程中獲取經(jīng)驗。 我提供了關(guān)于各種機(jī)器學(xué)習(xí)算法以及R&Python代碼的高級理解以及運行它們，這些應(yīng)該足以使你得心順手。

　　machine learning

　　我故意跳過了這些技術(shù)背后的 統(tǒng)計 數(shù)據(jù)，因為你不需要在開始時就了解它們。 所以，如果你正在尋找對這些算法的統(tǒng)計學(xué)理解，你應(yīng)該看看別的文章。 但是，如果你正在尋找并開始構(gòu)建機(jī)器學(xué)習(xí)項目，那么這篇文章給你帶來極大好處。

　　3類機(jī)器學(xué)習(xí)算法(廣義上)

　　監(jiān)督學(xué)習(xí)

　　工作原理 ：該算法由一組目標(biāo)/結(jié)果變量(或因變量)組成，該變量將根據(jù)給定的一組預(yù)測變量(獨立變量)進(jìn)行預(yù)測。 使用這些變量集，我們生成一個將輸入映射到所需輸出的函數(shù)。 訓(xùn)練過程繼續(xù)進(jìn)行執(zhí)行，直到 模型 達(dá)到培訓(xùn)數(shù)據(jù)所需的準(zhǔn)確度水平。 監(jiān)督學(xué)習(xí)的例子：回歸，決策樹，隨機(jī)森林，KNN，邏輯回歸等

　　無監(jiān)督學(xué)習(xí)

　　如何工作：在這個算法中，我們沒有任何目標(biāo)或結(jié)果變量來預(yù)測/估計。 用于不同群體的群體聚類和用于不同群體的客戶進(jìn)行特定干預(yù)。 無監(jiān)督學(xué)習(xí)的例子：Apriori算法，K-means。

　　加強(qiáng)學(xué)習(xí)：

　　工作原理：使用這種算法，機(jī)器受到學(xué)習(xí)和訓(xùn)練，作出具體決定。 它以這種方式工作：機(jī)器暴露在一個環(huán)境中，它連續(xù)不斷地使用試錯。 該機(jī)器從過去的經(jīng)驗中學(xué)習(xí)，并嘗試捕獲最好的知識，以做出準(zhǔn)確的業(yè)務(wù)決策。 加強(qiáng)學(xué)習(xí)示例：馬爾可夫決策過程

　　常見機(jī)器學(xué)習(xí)算法

　　以下是常用機(jī)器學(xué)習(xí)算法的列表。 這些算法幾乎可以應(yīng)用于任何數(shù)據(jù)問題：

　　線性回歸

　　邏輯回歸

　　決策樹

　　SVM

　　樸素貝葉斯

　　KNN

　　K-Means

　　隨機(jī)森林

　　降維算法

　　Gradient Boost&Adaboost

　　1.線性回歸

　　它用于基于連續(xù)變量來估計實際價值(房屋成本，電話數(shù)量，總銷售額等)。在這里，我們通過擬合最佳線來建立獨立變量和因變量之間的關(guān)系。這個最佳擬合線被稱為回歸線，由線性方程Y = a * X + b表示。

　　理解線性回歸的最好方法是回想童年的經(jīng)歷。比如，你要求五年級的孩子通過體重來從小到大排序班里的 學(xué)生 ，而事先不告訴學(xué)生們的體重!你認(rèn)為孩子會做什么?他/她很可能在身高和體格上分析 人物 的體重，并使用這些可視 參數(shù) 的組合進(jìn)行排列。這是現(xiàn)實生活中的線性回歸!孩子實際上已經(jīng)弄清楚，身高和體格將有一個關(guān)系與體重相關(guān)聯(lián)，看起來就像上面的等式。

　　在這個方程式中：

　　Y-因變量

　　a – 斜率

　　X – 自變量

　　b – 截距

　　這些系數(shù)a和b是基于最小化數(shù)據(jù)點和回歸線之間的距離的平方差之和導(dǎo)出的。

　　看下面的例子。這里我們確定了線性方程y = 0.2811x + 13.9的最佳擬合線。現(xiàn)在使用這個方程，我們可以找到一個人(身高已知)的體重。

　　線性回歸

　　線性回歸主要有兩種類型：簡單線性回歸和多元線性回歸。 簡單線性回歸的特征在于一個自變量。 而且，多元線性回歸(顧名思義)的特征是多個(多于1個)自變量。 在找到最佳擬合線的同時，可以擬合多項式或曲線回歸線，這些被稱為多項式或曲線回歸。

　　Python Code

　　#Import Library

　　#Import other necessary libraries like pandas, numpy...

　　from sklearn import linear_model

　　import numpy as np

　　#Load Train and Test datasets

　　#Identify feature and response variable(s) and values must be numeric and numpy arrays

　　# x_train=input_variables_values_training_datasets

　　x_train=np.random.rand(4,4)

　　print(x_train)

　　# y_train=target_variables_values_training_datasets

　　y_train=np.random.rand(4,4)

　　print(y_train)

　　# x_test=input_variables_values_test_datasets

　　x_test=np.random.rand(4,4)

　　print(x_test)

　　# Create linear regression object

　　linear = linear_model.LinearRegression()

　　# Train the model using the training sets and check score

　　linear.fit(x_train, y_train)

　　linear.score(x_train, y_train)

　　#Equation coefficient and Intercept

　　print('Coefficient: /n', linear.coef_)

　　print('Intercept: /n', linear.intercept_)

　　#Predict Output

　　predicted= linear.predict(x_test)

　　print('predicted:/n',predicted)

　　[[ 0.98267731 0.23364069 0.35133775 0.92826309]

　　[ 0.80538991 0.05637806 0.87662175 0.3960776 ]

　　[ 0.54686738 0.6816495 0.99747716 0.32531085]

　　[ 0.19189509 0.87105462 0.88158122 0.25056621]]

　　[[ 0.55541608 0.56859636 0.40616234 0.14683524]

　　[ 0.09937835 0.63874553 0.92062536 0.32798326]

　　[ 0.87174236 0.779044 0.79119392 0.06912842]

　　[ 0.87907434 0.53175367 0.01371655 0.11414196]]

　　[[ 0.37568516 0.17267374 0.51647046 0.04774661]

　　[ 0.38573914 0.85335136 0.11647555 0.0758696 ]

　　[ 0.67559384 0.57535368 0.88579261 0.26278658]

　　[ 0.13829782 0.28328756 0.51170484 0.04260013]]

　　Coefficient:

　　[[ 0.55158868 1.45901817 0.31224322 0.49538173]

　　[ 0.6995448 0.40804135 0.59938423 0.09084578]

　　[ 1.79010371 0.21674532 1.60972012 -0.046387 ]

　　[-0.31562917 -0.53767439 -0.16141312 -0.2154683 ]]

　　Intercept:

　　[-0.89705102 -0.50908061 -1.9260686 0.83934127]

　　predicted:

　　[[-0.25297601 0.13808785 -0.38696891 0.53426883]

　　[ 0.63472658 0.18566989 -0.86662193 0.22361739]

　　[ 0.72181277 0.75309881 0.82170796 0.11715048]

　　[-0.22656611 0.01383581 -0.79537442 0.55159912]]

　　R Code

　　#Load Train and Test datasets

　　#Identify feature and response variable(s) and values must be numeric and numpy arrays

　　x_train <- input_variables_values_training_datasets

　　y_train <- target_variables_values_training_datasets

　　x_test <- input_variables_values_test_datasets

　　x <- cbind(x_train,y_train)

　　# Train the model using the training sets and check score

　　linear <- lm(y_train ~ ., data = x)

　　summary(linear)

　　#Predict Output

　　predicted= predict(linear,x_test)

　　2.邏輯回歸

　　不要因為它的名字而感到困惑，邏輯回歸是一個分類算法而不是回歸算法。它用于基于給定的一組自變量來估計離散值(二進(jìn)制值，如0/1，是/否，真/假)。簡單來說，它通過將數(shù)據(jù)擬合到lo git 函數(shù)來預(yù)測事件發(fā)生的概率。因此，它也被稱為logit回歸。由于它預(yù)測概率，其輸出值在0和1之間(如預(yù)期的那樣)。

　　再次，讓我們通過一個簡單的例子來嘗試?yán)斫膺@一點。

　　假設(shè)你的朋友給你一個難題解決。只有2個結(jié)果場景 - 你能解決和不能解決。現(xiàn)在想象，你正在被許多猜謎或者簡單測驗，來試圖理解你擅長的科目。這項研究的結(jié)果將是這樣的結(jié)果 - 如果給你一個10級的三角形問題，那么你有70%可能會解決這個問題。另外一個例子，如果是五級的歷史問題，得到答案的概率只有30%。這就是邏輯回歸為你提供的結(jié)果。

　　對數(shù)學(xué)而言，結(jié)果的對數(shù)幾率被建模為預(yù)測變量的線性組合。

　　odds= p/ (1-p) = probability of event occurrence / probability of not event occurrence ln(odds) = ln(p/(1-p)) logit(p) = ln(p/(1-p)) = b0+b1X1+b2X2+b3X3....+bkXk

　　以上，p是感興趣特征的概率。 它選擇最大化觀察樣本值的可能性的參數(shù)，而不是最小化平方誤差的總和(如在普通回歸中)。

　　現(xiàn)在，你可能會問，為什么要采用log? 為了簡單起見，讓我們來說，這是復(fù)制階梯函數(shù)的最好的數(shù)學(xué)方法之一。 我可以進(jìn)一步詳細(xì)介紹，但這將會打破這篇文章的目的。

　　邏輯回歸

　　Python Code

　　#Import Library

　　from sklearn.linear_model import LogisticRegression

　　#Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset

　　# Create logistic regression object

　　model = LogisticRegression()

　　# Train the model using the training sets and check score

　　model.fit(X, y)

　　model.score(X, y)

　　#Equation coefficient and Intercept

　　print('Coefficient: /n', model.coef_)

　　print('Intercept: /n', model.intercept_)

　　#Predict Output

　　predicted= model.predict(x_test)

　　R Code

　　x <- cbind(x_train,y_train)

　　# Train the model using the training sets and check score

　　logistic <- glm(y_train ~ ., data = x,family='binomial')

　　summary(logistic)

　　#Predict Output

　　predicted= predict(logistic,x_test)

　　3.決策樹

　　這是我最喜歡的算法之一，我經(jīng)常使用它。 它是一種主要用于分類問題的監(jiān)督學(xué)習(xí)算法，令人驚訝的是，它可以適用于分類和連·續(xù)因變量。 在該算法中，我們將群體分為兩個或多個均勻集合。 這是基于最重要的屬性/自變量來做出的并將它們分為不同的組。關(guān)于決策樹的更多細(xì)節(jié)，你可以閱讀決策樹簡介

　　決策樹

　　在上圖中，您可以看到根據(jù)多個屬性將群體分為四個不同的群組，以確定用戶“是否可以玩”。為了 將人口分為不同的特征群體，它使用了諸如Gini，信息增益，卡方，熵等各種技術(shù)。

　　JezzBall

　　了解決策樹如何運作的最佳方法是播放Jezzball - 微軟 的經(jīng)典游戲(下圖)。 大體上就是，來一起在屏幕上滑動手指，筑起墻壁，掩住移動的球吧。

　　Python Code

　　#Import Library

　　#Import other necessary libraries like pandas, numpy...

　　from sklearn import tree

　　#Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset

　　# Create tree object

　　model = tree.DecisionTreeClassifier(criterion='gini')

　　# for classification, here you can change the algorithm as gini or entropy (information gain) by default it is gini

　　# model = tree.DecisionTreeRegressor() for regression

　　# Train the model using the training sets and check score

　　model.fit(X, y)

　　model.score(X, y)

　　#Predict Output

　　predicted= model.predict(x_test)

　　R Code

　　library(rpart)

　　x <- cbind(x_train,y_train)

　　# grow tree

　　fit <- rpart(y_train ~ ., data = x,method="class")

　　summary(fit)

　　#Predict Output

　　predicted= predict(fit,x_test)

　　4.SVM(支持向量機(jī))

　　這是一種分類方法。 在這個算法中，我們將每個數(shù)據(jù)項目繪制為n維 空間 中的一個點(其中n是擁有的特征數(shù))，每個特征的值是特定坐標(biāo)的值。

　　例如，如果我們有一個人的“高度”和“頭發(fā)長度”這兩個特征，我們首先將這兩個變量繪制在二維空間中，其中每個點都有兩個坐標(biāo)(這些坐標(biāo)稱為支持向量)

　　支持向量機(jī)

　　現(xiàn)在，我們將找到一些可以將數(shù)據(jù)分割成兩類的線。 而我們想要的線，就是使得兩組數(shù)據(jù)中最近點到分割線的距離最長的線。

　　最佳分割 直線

　　在上述示例中，將數(shù)據(jù)分成兩個不同分類的組的線是黑線，因為兩個最接近的點距離線最遠(yuǎn)(紅線也可以，但不是一最遠(yuǎn))。 這條線是我們的分類器， 然后根據(jù) 測試 數(shù)據(jù)位于線路兩邊的位置，我們可以將新數(shù)據(jù)分類為什么類別。

　　Python Code

　　#Import Library

　　from sklearn import svm

　　#Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset

　　# Create SVM classification object

　　model = svm.svc() # there is various option associated with it, this is simple for classification. You can refer link, for mo# re detail.

　　# Train the model using the training sets and check score

　　model.fit(X, y)

　　model.score(X, y)

　　#Predict Output

　　predicted= model.predict(x_test)

　　R Code

　　library(e1071)

　　x <- cbind(x_train,y_train)

　　# Fitting model

　　fit <-svm(y_train ~ ., data = x)

　　summary(fit)

　　#Predict Output

　　predicted= predict(fit,x_test)

　　5. 樸素貝葉斯

　　它是基于貝葉斯定理的分類技術(shù)，假設(shè)預(yù)測因子之間是獨立的。 簡單來說，樸素貝葉斯分類器假設(shè)類中特定特征的存在與任何其他特征的存在無關(guān)。 例如，如果果實是紅色，圓形，直徑約3英寸，則果實可能被認(rèn)為是 蘋果 。 即使這些特征依賴于彼此或其他特征的存在，一個樸素的貝葉斯分類器將考慮的是所有屬性來單獨地貢獻(xiàn)這個果實是蘋果的概率。

　　樸素貝葉斯模型易于構(gòu)建，對于非常大的數(shù)據(jù)集尤其有用。 除了簡單之外，樸素貝葉斯也被稱為超高級分類方法。

　　貝葉斯定理提供了一種由P(c)，P(x)和P(x | c)計算概率P(c | x)的方法。 看下面的等式

　　樸素貝葉斯

　　其中：

　　P(c | x)是在x條件下c發(fā)生的概率。

　　P(c)是c發(fā)生的概率。

　　P(x | c)在c條件下x發(fā)生的概率。

　　P(x)是x發(fā)生的概率。

　　示例：

　　讓我們用一個例子來理解它。 下面我有一個天氣和相應(yīng)的目標(biāo)變量“玩游戲”的訓(xùn)練數(shù)據(jù)集。 現(xiàn)在，我們需要根據(jù)天氣條件對玩家是否玩游戲進(jìn)行分類。 我們按照以下步驟執(zhí)行。

　　步驟1：將數(shù)據(jù)集轉(zhuǎn)換為頻率表

　　步驟2：通過發(fā)現(xiàn)像“Overcast”概率= 0.29和播放概率為0.64的概率來創(chuàng)建似然表。

　　例子

　　步驟3：現(xiàn)在，使用樸素貝葉斯方程來計算每個類的概率。 其中概率最高的情況就是是預(yù)測的結(jié)果。

　　問題：

　　如果天氣晴朗，玩家會玩游戲，這個說法是正確的嗎?

　　我們可以使用上述方法解決，所以P(Yes | Sunny) = P( Sunny | Yes) * P(Yes) / P (Sunny)

　　這里，P(Sunny | Yes)= 3/9 = 0.33，P(Sunny)= 5/14 = 0.36，P(Yes)= 9/14 = 0.64

　　現(xiàn)在，P(Yes | Sunny)= 0.33 * 0.64 / 0.36 = 0.60，該事件發(fā)生的概率還是比較高的。

　　樸素貝葉斯使用類似的方法根據(jù)各種屬性預(yù)測不同分類的概率，該算法主要用于文本分類和具有多個類的問題。

　　Python Code

　　#Import Library

　　from sklearn.naive_bayes import GaussianNB

　　#Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset

　　# Create SVM classification object model = GaussianNB()

　　# there is other distribution for multinomial classes like Bernoulli Naive Bayes, Refer link

　　# Train the model using the training sets and check score

　　model.fit(X, y)

　　#Predict Output

　　predicted= model.predict(x_test)

　　R Code

　　library(e1071)

　　x <- cbind(x_train,y_train)

　　# Fitting model

　　fit <-naiveBayes(y_train ~ ., data = x)

　　summary(fit)

　　#Predict Output

　　predicted= predict(fit,x_test)

　　6. KNN (K-近鄰算法)

　　它可以用于分類和回歸問題, 然而，它在行業(yè)中被廣泛地應(yīng)用于分類問題。 K-近鄰算法用于存儲所有訓(xùn)練樣本集(所有已知的案列)，并通過其k個鄰近數(shù)據(jù)多數(shù)投票對新的數(shù)據(jù)(或者案列)進(jìn)行分類。通常，選擇k個最近鄰數(shù)據(jù)中出現(xiàn)次數(shù)最多的分類作為新數(shù)據(jù)的分類。

　　這些計算機(jī)的距離函數(shù)可以是歐幾里德，曼哈頓，閔可夫斯基和漢明距離。 前三個函數(shù)用于連續(xù)函數(shù)，第四個函數(shù)用于分類變量。 如果K = 1，則簡單地將該情況分配給其最近鄰的類。 有時，選擇K在執(zhí)行KNN建模時是一個難點。

　　K-近鄰算法

　　KNN可以輕松映射到我們的現(xiàn)實生活中。 如果你想了解一個人，你沒有任何信息，你可能想知道先去了解他的親密的朋友和他活動的圈子，從而獲得他/她的信息!

　　選擇KNN之前要考慮的事項：

　　KNN在計算上是昂貴的

　　變量應(yīng)該被歸一化，否則更高的范圍變量可以偏移它

　　在進(jìn)行KNN之前，預(yù)處理階段的工作更像去除離群值、噪聲值

　　Python Code

　　#Import Library

　　from sklearn.neighbors import KNeighborsClassifier

　　#Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset

　　# Create KNeighbors classifier object model

　　KNeighborsClassifier(n_neighbors=6) # default value for n_neighbors is 5

　　# Train the model using the training sets and check score

　　model.fit(X, y)

　　#Predict Output

　　predicted= model.predict(x_test)

　　R Code

　　library(knn)

　　x <- cbind(x_train,y_train)

　　# Fitting model

　　fit <-knn(y_train ~ ., data = x,k=5)

　　summary(fit)

　　#Predict Output

　　predicted= predict(fit,x_test)

　　7. K-Means

　　它是解決聚類問題的一種無監(jiān)督算法。 其過程遵循一種簡單而簡單的方式，通過一定數(shù)量的聚類(假設(shè)k個聚類)對給定的數(shù)據(jù)集進(jìn)行分類。 集群 內(nèi)的數(shù)據(jù)點與對等組是同構(gòu)的和異構(gòu)的。

　　嘗試從油墨印跡中找出形狀?(見下圖) k means 與這個活動相似， 你通過墨水漬形狀來判斷有多少群體存在!

　　K-Means

　　下面兩點感覺原文解釋的不是很清楚，自己然后查了下國內(nèi)的解釋方法

　　K-means如何形成集群

　　(1) 從 n個數(shù)據(jù)對象任意選擇 k 個對象作為初始聚類中心;

　　(2) 根據(jù)每個聚類對象的均值(中心對象)，計算每個對象與這些中心對象的距離;并根據(jù)最小距離重新對相應(yīng)對象進(jìn)行劃分;

　　(3) 重新計算每個(有變化)聚類的均值(中心對象)

　　(4) 循環(huán)(2)到(3)直到每個聚類不再發(fā)生變化為止參考

　　例子

　　K-Means例子

　　從上圖中，我們可以看到，A，B，C，D，E是五個在圖中點。而灰色的點是我們的種子點，也就是我們用來找點群的點。有兩個種子點，所以K=2。

　　然后，K-Means的算法如下：

　　隨機(jī)在圖中取K(這里K=2)個種子點。

　　然后對圖中的所有點求到這K個種子點的距離，假如點Pi離種子點Si最近，那么Pi屬于Si點群。(上圖中，我們可以看到A，B屬于上面的種子點，C，D，E屬于下面中部的種子點)

　　接下來，我們要移動種子點到屬于他的“點群”的中心。(見圖上的第三步)

　　然后重復(fù)第2)和第3)步，直到，種子點沒有移動(我們可以看到圖中的第四步上面的種子點聚合了A，B，C，下面的種子點聚合了D，E)。 參考

　　K值如何確定

　　在實際應(yīng)用中，由于Kmean一般作為數(shù)據(jù)預(yù)處理，或者用于輔助分聚類貼標(biāo)簽。所以k一般不會設(shè)置很大?？梢酝ㄟ^枚舉，令k從2到一個固定值如10，在每個k值上重復(fù)運行數(shù)次kmeans(避免局部最優(yōu)解)，并計算當(dāng)前k的平均輪廓系數(shù)，最后選取輪廓系數(shù)最大的值對應(yīng)的k作為最終的集群數(shù)目。參考

　　我們知道隨著群集數(shù)量的增加，該值不斷減少，但是如果繪制結(jié)果，則可能會發(fā)現(xiàn)平方距離的總和急劇下降到k的某個值，然后再慢一些。 在這里，我們可以找到最佳聚類數(shù)。

　　k值

　　Python Code

　　#Import Library

　　from sklearn.cluster import KMeans

　　#Assumed you have, X (attributes) for training data set and x_test(attributes) of test_dataset

　　# Create KNeighbors classifier object model

　　k_means = KMeans(n_clusters=3, random_state=0)

　　# Train the model using the training sets and check score

　　model.fit(X)

　　#Predict Output

　　predicted= model.predict(x_test)

　　R Code

　　library(cluster)

　　fit <- kmeans(X, 3) # 5 cluster solution

　　8. Random Forest(隨機(jī)樹林)

　　隨機(jī)森林(Random Forest)是一個包含多個決策樹的分類器， 其輸出的類別由個別樹輸出類別的眾數(shù)而定。(相當(dāng)于許多不同領(lǐng)域的專家對數(shù)據(jù)進(jìn)行分類判斷，然后投票)

　　隨機(jī)樹林

　　感覺原文沒有將什么實質(zhì)內(nèi)容，給大家推進(jìn)這一篇 Random Forest入門

　　9. 降維算法

　　在過去的4-5年中， 數(shù)據(jù)挖掘 在每個可能的階段都呈指數(shù)級增長。 公司/政府機(jī)構(gòu)/研究機(jī)構(gòu)不僅有新的來源，而且他們正在非常詳細(xì)地挖掘數(shù)據(jù)。

　　例如： 電子商務(wù) 公司正在捕獲更多關(guān)于客戶的細(xì)節(jié)，例如人口統(tǒng)計，網(wǎng)絡(luò)爬網(wǎng)歷史，他們喜歡或不喜歡的內(nèi)容，購買歷史記錄，反饋信息等等，給予他們個性化的關(guān)注，而不是離你最近的雜貨店主。

　　作為數(shù)據(jù)科學(xué)家，我們提供的數(shù)據(jù)還包括許多功能，這對建立良好的穩(wěn)健模型是非常有用的，但是有一個挑戰(zhàn)。 你如何識別出1000或2000年高度重要的變量? 在這種情況下，維數(shù)降低算法可以幫助我們與決策樹，隨機(jī)森林，PCA，因子分析，基于相關(guān)矩陣，缺失值比等的其他算法一起使用。

　　要了解更多有關(guān)此算法的信息，您可以閱讀 “ Beginners Guide To Learn Dimension Reduction Techniques “.

　　Python Code

　　#Import Library

　　from sklearn import decomposition

　　#Assumed you have training and test data set as train and test

　　# Create PCA obeject pca= decomposition.PCA(n_components=k) #default value of k =min(n_sample, n_features)

　　# For Factor analysis

　　#fa= decomposition.FactorAnalysis()

　　# Reduced the dimension of training dataset using PCA

　　train_reduced = pca.fit_transform(train)

　　#Reduced the dimension of test dataset

　　test_reduced = pca.transform(test)

　　For more detail on this, please refer this link.

　　R Code

　　library(stats)

　　pca <- princomp(train, cor = TRUE)

　　train_reduced <- predict(pca,train)

　　test_reduced <- predict(pca,test)

　　10. Gradient Boosting & AdaBoost

　　當(dāng)我們處理大量數(shù)據(jù)以預(yù)測高預(yù)測能力時，GBM&AdaBoost是更加強(qiáng)大的算法。 Boosting是一種綜合學(xué)習(xí)算法，它結(jié)合了幾個基本估計器的預(yù)測，以提高單個估計器的魯棒性。 它將多個弱或平均預(yù)測值組合到一個強(qiáng)大的預(yù)測變量上。 這些提升算法在數(shù)據(jù)科學(xué)比賽中總是能夠很好地運行，如Kaggle，AV Hackathon，CrowdAnalytix。

　　More: Know about Gradient and AdaBoost in detail

　　Python Code

　　#Import Library

　　from sklearn.ensemble import GradientBoostingClassifier

　　#Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset

　　# Create Gradient Boosting Classifier object

　　model= GradientBoostingClassifier(n_estimators=100, learning_rate=1.0, max_depth=1, random_state=0)

　　# Train the model using the training sets and check score

　　model.fit(X, y)

　　#Predict Output

　　predicted= model.predict(x_test)

　　R Code

　　library(caret)

　　x <- cbind(x_train,y_train)

　　# Fitting model

　　fitControl <- trainControl( method = "repeatedcv", number = 4, repeats = 4)

　　fit <- train(y ~ ., data = x, method = "gbm", trControl = fitControl,verbose = FALSE)

　　predicted= predict(fit,x_test,type= "prob")[,2]

　　結(jié)束語

　　現(xiàn)在我相信，你會有一個常用的機(jī)器學(xué)習(xí)算法的想法。 我在寫這篇文章和提供R和Python中的代碼的唯一意圖就是讓你馬上開始。 如果您想要掌握機(jī)器學(xué)習(xí)，請將算法運用實際問題，體會其中的樂趣