程序猿必知的10大經(jīng)典基礎(chǔ)實(shí)用算法

算法一：高速排序算法
　　高速排序是由東尼·霍爾所發(fā)展的一種排序算法。在平均狀況下，排序 n 個(gè)項(xiàng)目要Ο(n log n)次比較。在最壞狀況下則須要Ο(n2) 次比較，但這樣的狀況并不常見。其實(shí)，高速排序通常明顯比其它Ο(n log n) 算法更快，由于它的內(nèi)部循環(huán)（inner loop）能夠在大部分的架構(gòu)上很有效率地被實(shí)現(xiàn)出來。
　　高速排序使用分治法（Divide and conquer）策略來把一個(gè)串行（list）分為兩個(gè)子串行（sub-lists）。
　　算法步驟：
　　1 從數(shù)列中挑出一個(gè)元素，稱為 “基準(zhǔn)”（pivot）。
　　2 又一次排序數(shù)列，全部元素比基準(zhǔn)值小的擺放在基準(zhǔn)前面。全部元素比基準(zhǔn)值大的擺在基準(zhǔn)的后面（相同的數(shù)能夠到任一邊）。在這個(gè)分區(qū)退出之后，該基準(zhǔn)就處于數(shù)列的中間位置。
這個(gè)稱為分區(qū)（partition）操作。
　　3 遞歸地（recursive）把小于基準(zhǔn)值元素的子數(shù)列和大于基準(zhǔn)值元素的子數(shù)列排序。
　　遞歸的最底部情形，是數(shù)列的大小是零或一，也就是永遠(yuǎn)都已經(jīng)被排序好了。雖然一直遞歸下去，可是這個(gè)算法總會(huì)退出。由于在每次的迭代（iteration）中。它至少會(huì)把一個(gè)元素?cái)[到它最后的位置去。

　　算法二：堆排序算法
　　堆排序（Heapsort）是指利用堆這樣的數(shù)據(jù)結(jié)構(gòu)所設(shè)計(jì)的一種排序算法。
堆積是一個(gè)近似全然二叉樹的結(jié)構(gòu)，并同一時(shí)候滿足堆積的性質(zhì)：即子結(jié)點(diǎn)的鍵值或索引總是小于（或者大于）它的父節(jié)點(diǎn)。
　　堆排序的平均時(shí)間復(fù)雜度為Ο(nlogn) 。
　　算法步驟：
1. 創(chuàng)建一個(gè)堆H[0..n-1]
2. 把堆首（最大值）和堆尾互換
　　3. 把堆的尺寸縮小1，并調(diào)用 shift_down (0)，目的是把新的數(shù)組頂端數(shù)據(jù)調(diào)整到相應(yīng)位置
　　4. 反復(fù)步驟2。直到堆的尺寸為1

　　算法三：歸并排序

　　歸并排序（Merge sort。臺(tái)灣譯作：合并排序）是建立在歸并操作上的一種有效的排序算法。該算法是採用分治法（Divide and Conquer）的一個(gè)很典型的應(yīng)用。
　　算法步驟：
　　1. 申請空間，使其大小為兩個(gè)已經(jīng)排序序列之和。該空間用來存放合并后的序列
　　2. 設(shè)定兩個(gè)指針，最初位置分別為兩個(gè)已經(jīng)排序序列的起始位置
　　3. 比較兩個(gè)指針?biāo)赶虻脑?，選擇相對小的元素放入到合并空間。并移動(dòng)指針到下一位置
　　4. 反復(fù)步驟 3 直到某一指針達(dá)到序列尾
　　5. 將還有一序列剩下的全部元素直接拷貝到合并序列尾

　　算法四：二分查找算法
　　二分查找算法是一種在有序數(shù)組中查找某一特定元素的搜索算法。
搜素過程從數(shù)組的中間元素開始，假設(shè)中間元素正好是要查找的元素，則搜素過程結(jié)束；假設(shè)某一特定元素大于或者小于中間元素。則在數(shù)組大于或小于中間元素的那一半中查找，并且跟開始一樣從中間元素開始比較。
假設(shè)在某一步驟數(shù)組為空，則代表找不到。這樣的搜索算法每一次比較都使搜索范圍縮小一半。折半搜索每次把搜索區(qū)域降低一半。時(shí)間復(fù)雜度為Ο(logn) 。
　　算法五：BFPRT(線性查找算法)
　　BFPRT 算法解決的問題十分經(jīng)典，即從某n個(gè)元素的序列中選出第k大（第k?。┑脑亍Ｍㄟ^巧妙的分析，BFPRT 能夠保證在最壞情況下仍為線性時(shí)間復(fù)雜度。該算法的思想與高速排序思想類似，當(dāng)然，為使得算法在最壞情況下，依舊能達(dá)到o(n)的時(shí)間復(fù)雜度，五位算法作者做了精妙的處理。
　　算法步驟：
　　1. 將n個(gè)元素每 5 個(gè)一組，分成n/5(上界)組。
　　2. 取出每一組的中位數(shù)，隨意排序方法，比方插入排序。
　　3. 遞歸的調(diào)用 selection 算法查找上一步中全部中位數(shù)的中位數(shù)。設(shè)為x，偶數(shù)個(gè)中位數(shù)的情況下設(shè)定為選取中間小的一個(gè)。
　　4. 用x來切割數(shù)組，設(shè)小于等于x的個(gè)數(shù)為k，大于x的個(gè)數(shù)即為n-k。
　　5. 若i==k，返回x。若i<k，在小于x的元素中遞歸查找第i小的元素。若i>k。在大于x的元素中遞歸查找第i-k 小的元素。
　　終止條件：n=1 時(shí)。返回的即是i小元素。
　　算法六：DFS（深度優(yōu)先搜索）
　　深度優(yōu)先搜索算法（Depth-First-Search），是搜索算法的一種。它沿著樹的深度遍歷樹的節(jié)點(diǎn)，盡可能深的搜索樹的分支。當(dāng)節(jié)點(diǎn)v的全部邊都己被探尋過。搜索將回溯到發(fā)現(xiàn)節(jié)點(diǎn)v的那條邊的起始節(jié)點(diǎn)。這一過程一直進(jìn)行到已發(fā)現(xiàn)從源節(jié)點(diǎn)可達(dá)的全部節(jié)點(diǎn)為止。
假設(shè)還存在未被發(fā)現(xiàn)的節(jié)點(diǎn)，則選擇當(dāng)中一個(gè)作為源節(jié)點(diǎn)并反復(fù)以上過程，整個(gè)進(jìn)程反復(fù)進(jìn)行直到全部節(jié)點(diǎn)都被訪問為止。
DFS 屬于盲目搜索。
　　深度優(yōu)先搜索是圖論中的經(jīng)典算法，利用深度優(yōu)先搜索算法能夠產(chǎn)生目標(biāo)圖的相應(yīng)拓?fù)渑判虮?，利用拓?fù)渑判虮砟軌蚍奖愕慕鉀Q很多相關(guān)的圖論問題。如最大路徑問題等等。一般用堆數(shù)據(jù)結(jié)構(gòu)來輔助實(shí)現(xiàn) DFS 算法。
　　深度優(yōu)先遍歷圖算法步驟：
　　1. 訪問頂點(diǎn)v；
　　2. 依次從v的未被訪問的鄰接點(diǎn)出發(fā)。對圖進(jìn)行深度優(yōu)先遍歷；直至圖中和v有路徑相通的頂點(diǎn)都被訪問。
　　3. 若此時(shí)圖中尚有頂點(diǎn)未被訪問。則從一個(gè)未被訪問的頂點(diǎn)出發(fā)，又一次進(jìn)行深度優(yōu)先遍歷，直到圖中全部頂點(diǎn)均被訪問過為止。
　　上述描寫敘述可能比較抽象，舉個(gè)實(shí)例：
　　DFS 在訪問圖中某一起始頂點(diǎn) v 后，由 v 出發(fā)。訪問它的任一鄰接頂點(diǎn) w1。再從 w1 出發(fā)。訪問與 w1 鄰 接但還沒有訪問過的頂點(diǎn) w2；然后再從 w2 出發(fā)，進(jìn)行類似的訪問，… 如此進(jìn)行下去，直至到達(dá)全部的鄰接頂點(diǎn)都被訪問過的頂點(diǎn) u 為止。
　　接著，退回一步，退到前一次剛訪問過的頂點(diǎn)，看是否還有其它沒有被訪問的鄰接頂點(diǎn)。假設(shè)有，則訪問此頂點(diǎn)。之后再從此頂點(diǎn)出發(fā)。進(jìn)行與前述類似的訪問；假設(shè)沒有。就再退回一步進(jìn)行搜索。反復(fù)上述過程，直到連通圖中全部頂點(diǎn)都被訪問過為止。
　　算法七：BFS (廣度優(yōu)先搜索)
　　廣度優(yōu)先搜索算法（Breadth-First-Search），是一種圖形搜索算法。簡單的說。BFS 是從根節(jié)點(diǎn)開始，沿著樹(圖)的寬度遍歷樹(圖)的節(jié)點(diǎn)。假設(shè)全部節(jié)點(diǎn)均被訪問，則算法中止。BFS 相同屬于盲目搜索。一般用隊(duì)列數(shù)據(jù)結(jié)構(gòu)來輔助實(shí)現(xiàn) BFS 算法。
　　算法步驟：
　　1. 首先將根節(jié)點(diǎn)放入隊(duì)列中。
　　2. 從隊(duì)列中取出第一個(gè)節(jié)點(diǎn)。并檢驗(yàn)它是否為目標(biāo)。
假設(shè)找到目標(biāo)。則結(jié)束搜尋并回傳結(jié)果。
否則將它全部尚未檢驗(yàn)過的直接子節(jié)點(diǎn)增加隊(duì)列中。
　　3. 若隊(duì)列為空，表示整張圖都檢查過了——亦即圖中沒有欲搜尋的目標(biāo)。結(jié)束搜尋并回傳“找不到目標(biāo)”。
　　4. 反復(fù)步驟2。

　　算法八：Dijkstra算法

　　戴克斯特拉算法（Dijkstra’s algorithm）是由荷蘭計(jì)算機(jī)科學(xué)家艾茲赫爾·戴克斯特拉提出。迪科斯徹算法使用了廣度優(yōu)先搜索解決非負(fù)權(quán)有向圖的單源最短路徑問題，算法終于得到一個(gè)最短路徑樹。該算法經(jīng)常使用于路由算法或者作為其它圖算法的一個(gè)子模塊。
　　該算法的輸入包括了一個(gè)有權(quán)重的有向圖 G，以及G中的一個(gè)來源頂點(diǎn) S。
我們以 V 表示 G 中全部頂點(diǎn)的集合。每個(gè)圖中的邊，都是兩個(gè)頂點(diǎn)所形成的有序元素對。
(u, v) 表示從頂點(diǎn) u 到 v 有路徑相連。我們以 E 表示G中全部邊的集合。而邊的權(quán)重則由權(quán)重函數(shù) w: E → [0, ∞] 定義。因此，w(u, v) 就是從頂點(diǎn) u 到頂點(diǎn) v 的非負(fù)權(quán)重（weight）。邊的權(quán)重能夠想像成兩個(gè)頂點(diǎn)之間的距離。
任兩點(diǎn)間路徑的權(quán)重，就是該路徑上全部邊的權(quán)重總和。
已知有 V 中有頂點(diǎn) s 及 t，Dijkstra 算法能夠找到 s 到 t的最低權(quán)重路徑(比如，最短路徑)。這個(gè)算法也能夠在一個(gè)圖中，找到從一個(gè)頂點(diǎn) s 到不論什么其它頂點(diǎn)的最短路徑。對于不含負(fù)權(quán)的有向圖。Dijkstra 算法是眼下已知的最快的單源最短路徑算法。
　　算法步驟：
　　1. 初始時(shí)令 S={V0},T={其余頂點(diǎn)}，T中頂點(diǎn)相應(yīng)的距離值
　　若存在<V0,Vi>，d(V0,Vi)為<V0,Vi>弧上的權(quán)值
　　若不存在<V0,Vi>。d(V0,Vi)為∞
　　2. 從T中選取一個(gè)其距離值為最小的頂點(diǎn)W且不在S中，增加S
　　3. 對其余T中頂點(diǎn)的距離值進(jìn)行改動(dòng)：若加進(jìn)W作中間頂點(diǎn)，從 V0 到 Vi 的距離值縮短。則改動(dòng)此距離值
　　反復(fù)上述步驟2、3，直到S中包括全部頂點(diǎn)，即W=Vi 為止

算法九：動(dòng)態(tài)規(guī)劃算法
　　動(dòng)態(tài)規(guī)劃（Dynamic programming）是一種在數(shù)學(xué)、計(jì)算機(jī)科學(xué)和經(jīng)濟(jì)學(xué)中使用的。通過把原問題分解為相對簡單的子問題的方式求解復(fù)雜問題的方法。
動(dòng)態(tài)規(guī)劃經(jīng)常適用于有重疊子問題和最優(yōu)子結(jié)構(gòu)性質(zhì)的問題，動(dòng)態(tài)規(guī)劃方法所耗時(shí)間往往遠(yuǎn)少于樸素解法。
　　動(dòng)態(tài)規(guī)劃背后的基本思想很easy。大致上。若要解一個(gè)給定問題，我們須要解其不同部分（即子問題），再合并子問題的解以得出原問題的解。 通常很多子問題很類似。為此動(dòng)態(tài)規(guī)劃法試圖僅僅解決每個(gè)子問題一次，從而降低計(jì)算量： 一旦某個(gè)給定子問題的解已經(jīng)算出，則將其記憶化存儲(chǔ)。以便下次須要同一個(gè)子問題解之時(shí)直接查表。 這樣的做法在反復(fù)子問題的數(shù)目關(guān)于輸入的規(guī)模呈指數(shù)增長時(shí)特別實(shí)用。
　　關(guān)于動(dòng)態(tài)規(guī)劃最經(jīng)典的問題當(dāng)屬背包問題。
　　算法步驟：
　　1. 最優(yōu)子結(jié)構(gòu)性質(zhì)。假設(shè)問題的最優(yōu)解所包括的子問題的解也是最優(yōu)的。我們就稱該問題具有最優(yōu)子結(jié)構(gòu)性質(zhì)（即滿足最優(yōu)化原理）。最優(yōu)子結(jié)構(gòu)性質(zhì)為動(dòng)態(tài)規(guī)劃算法解決這個(gè)問題提供了重要線索。
　　2. 子問題重疊性質(zhì)。子問題重疊性質(zhì)是指在用遞歸算法自頂向下對問題進(jìn)行求解時(shí)。每次產(chǎn)生的子問題并不總是新問題，有些子問題會(huì)被反復(fù)計(jì)算多次。
動(dòng)態(tài)規(guī)劃算法正是利用了這樣的子問題的重疊性質(zhì)，對每個(gè)子問題僅僅計(jì)算一次，然后將其計(jì)算結(jié)果保存在一個(gè)表格中，當(dāng)再次須要計(jì)算已經(jīng)計(jì)算過的子問題時(shí)，僅僅是在表格中簡單地查看一下結(jié)果，從而獲得較高的效率。
　　算法十：樸素貝葉斯分類算法
　　樸素貝葉斯分類算法是一種基于貝葉斯定理的簡單概率分類算法。貝葉斯分類的基礎(chǔ)是概率推理，就是在各種條件的存在不確定，僅知其出現(xiàn)概率的情況下，怎樣完畢推理和決策任務(wù)。
概率推理是與確定性推理相相應(yīng)的。而樸素貝葉斯分類器是基于獨(dú)立假設(shè)的，即假設(shè)樣本每個(gè)特征與其它特征都不相關(guān)。
　　樸素貝葉斯分類器依靠精確的自然概率模型，在有監(jiān)督學(xué)習(xí)的樣本集中能獲取得很好的分類效果。在很多實(shí)際應(yīng)用中，樸素貝葉斯模型參數(shù)預(yù)計(jì)使用最大似然預(yù)計(jì)方法。換言之樸素貝葉斯模型能工作并沒實(shí)用到貝葉斯概率或者不論什么貝葉斯模型。
　　雖然是帶著這些樸素思想和過于簡單化的假設(shè)，但樸素貝葉斯分類器在很多復(fù)雜的現(xiàn)實(shí)情形中仍能夠取得相當(dāng)好的效果。