特征工程是什么？機器學習的關鍵所在

　　人工智能是過去兩到三年時間內(nèi)科技行業(yè)最熱的話題。而人工智能技術(shù)進步的背后，實質(zhì)上是機器學習快速發(fā)展后所帶來的巨大提升。

　　機器學習被廣泛定義為“利用經(jīng)驗來改善計算機系統(tǒng)的自身性能”。事實上，“經(jīng)驗”在計算機中主要是以數(shù)據(jù)的形式存在的，因此數(shù)據(jù)是機器學習的前提和基礎。

　　在第一期格物匯的文章中，我們介紹了工業(yè)數(shù)據(jù)預處理的方法，主要針對數(shù)據(jù)格式異常，數(shù)據(jù)內(nèi)容異常等問題進行了簡要探討。做數(shù)據(jù)預處理的主要目的是將雜亂無章的數(shù)據(jù)規(guī)整成我們想要的矩陣、表格、張量等結(jié)構(gòu)，方便在之后的機器學習中進行模型訓練。然而數(shù)據(jù)中的問題還包含了冗余，噪聲，高維度，體量大等很多問題。解決這些問題的方法與數(shù)據(jù)預處理的方法在機器學習中被統(tǒng)稱為特征工程，今天我們就來了解一下吧。

　　特征工程是什么

　　當你想要你的預測模型性能達到最佳時，你要做的不僅是要選取最好的算法，還要盡可能的從原始數(shù)據(jù)中獲取更多的信息。那么問題來了，你應該如何為你的預測模型得到更好的數(shù)據(jù)呢?這就是特征工程要做的事，它的目的就是獲取更好的訓練數(shù)據(jù)。

　　維基百科中給特征工程做出了簡單定義：特征工程是利用數(shù)據(jù)領域的相關知識來創(chuàng)建能夠使機器學習算法達到最佳性能的特征的過程。簡而言之，特征工程就是一個把原始數(shù)據(jù)轉(zhuǎn)變成特征的過程，這些特征可以很好的描述這些數(shù)據(jù)，并且利用它們建立的模型在未知數(shù)據(jù)上的表現(xiàn)性能可以達到最優(yōu)(或者接近最佳性能)。從數(shù)學的角度來看，特征工程就是人工地去設計輸入變量X。

　　特征工程的重要性

　　關于特征工程(Feature Engineering)，已經(jīng)是很古老很常見的話題了，坊間常說：“數(shù)據(jù)和特征決定了機器學習的上限，而模型和算法只是逼近這個上限而已”。由此可見，特征工程在機器學習中占有相當重要的地位。

　　1、特征越好，靈活性越強

　　只要特征選得好，即使是一般的模型(或算法)也能獲得很好的性能，因為大多數(shù)模型(或算法)在好的數(shù)據(jù)特征下表現(xiàn)的性能都還不錯。好特征的靈活性在于它允許你選擇不復雜的模型，同時運行速度也更快，也更容易理解和維護。

　　2、特征越好，構(gòu)建的模型越簡單

　　有了好的特征，即便你的參數(shù)不是最優(yōu)的，你的模型性能也能仍然會表現(xiàn)的很nice，所以你就不需要花太多的時間去尋找最有參數(shù)，這大大的降低了模型的復雜度，使模型趨于簡單。

　　3、特征越好，模型的性能越出色

　　顯然，這一點是毫無爭議的，我們進行特征工程的最終目的就是提升模型的性能。

　　特征工程怎么做

　　既然特征工程這么重要，那么我們就來看看特征工程到底是如何實現(xiàn)或者工作的。特征工程到底分為哪些內(nèi)容?我們大致可以參考如下流程圖來看看。

　　簡單來說，特征處理主要分如下三個方法：

　　特征構(gòu)建

　　特征構(gòu)建是指從原始數(shù)據(jù)中人工的找出一些具有實際意義的特征。需要花時間去觀察原始數(shù)據(jù)，思考問題的潛在形式和數(shù)據(jù)結(jié)構(gòu)，對數(shù)據(jù)敏感性和機器學習實戰(zhàn)經(jīng)驗能幫助特征構(gòu)建。除此之外，屬性分割和結(jié)合是特征構(gòu)建時常使用的方法。特征構(gòu)建是個非常麻煩的問題，書里面也很少提到具體的方法，需要對問題有比較深入的理解。

　　特征抽取

　　一些觀測數(shù)據(jù)如果直接建模，其原始狀態(tài)的數(shù)據(jù)太多。像圖像、音頻和文本數(shù)據(jù)，如果將其看做是表格數(shù)據(jù)，那么其中包含了數(shù)以千計的屬性。特征抽取是自動地對原始觀測降維，使其特征集合小到可以進行建模的過程。通?？刹捎弥鞒煞址治?PCA)、線性判別分析(LDA))等方法;對于圖像數(shù)據(jù)，可以進行線(line)或邊緣(edge)的提取;根據(jù)相應的領域，圖像、視頻和音頻數(shù)據(jù)可以有很多數(shù)字信號處理的方法對其進行處理。

　　特征選擇

　　不同的特征對模型的準確度的影響不同，有些特征與要解決的問題不相關，有些特征是冗余信息，這些特征都應該被移除掉。特征選擇是自動地選擇出對于問題最重要的那些特征子集的過程。常用的特征選擇方法可以分為3類：過濾式(filter)、包裹式(wrapper)和嵌入式(embedding)。

　　小結(jié)

　　總的來說，數(shù)據(jù)會存在各種各樣的問題，針對這些問題我們的特征工程給出了相應的解決辦法：1.特征解釋能力不足，我們可以嘗試使用特征構(gòu)建，對數(shù)據(jù)進行升維來提升特征解釋能力;2.特征冗余，維度太高，噪聲太多，我們可以通過特征抽取和特征選擇，來對數(shù)據(jù)進行降維去噪，提煉特征。當然還有其他的特征處理方法，一般需要根據(jù)具體問題而定。