基本的機器學習算法：
1. 線性回歸算法
回歸分析（ ）是統計學的數據分析方法，目的在于了解兩個或多個變量間是否相關、相關方向與強度，并建立數學模型以便觀察特定變量來預測其它變量的變化情況。
線性回歸算法（ ）的建模過程就是使用數據點來尋找最佳擬合線。公式，y = mx + c，其中 y 是因變量，x 是自變量，利用給定的數據集求 m 和 c 的值。
線性回歸又分為兩種類型算法4有那么好嗎，即 簡單線性回歸（ )，只有 1 個自變量；*多變量回歸（ )，至少兩組以上自變量。
下面是一個線性回歸示例：基于 -learn 工具包描述。
2. 支持向量機算法( ,SVM)
支持向量機/網絡算法(SVM)屬于分類型算法。SVM模型將實例表示為空間中的點，將使用一條直線分隔數據點。需要注意的是，支持向量機需要對輸入數據進行完全標記，僅直接適用于兩類任務，應用將多類任務需要減少到幾個二元問題。
3. 最近鄰居/k-近鄰算法 (K- ,KNN)
KNN算法是一種基于實例的學習，或者是局部近似和將所有計算推遲到分類之后的惰性學習。用最近的鄰居（k）來預測未知數據點。k 值是預測精度的一個關鍵因素，無論是分類還是回歸，衡量鄰居的權重都非常有用，較近鄰居的權重比較遠鄰居的權重大。
KNN 算法的缺點是對數據的局部結構非常敏感。計算量大，需要對數據進行規范化處理，使每個數據點都在相同的范圍。
延伸：KNN 的一個缺點是依賴于整個訓練數據集，學習向量量化（ ，LVQ)是一種監督學習的人神經網絡算法，允許你選擇訓練實例。LVQ 由數據驅動，搜索距離它最近的兩個神經元，對于同類神經元采取拉攏，異類神經元采取排斥，最終得到數據的分布模式。如果基于 KNN 可以獲得較好的數據集分類效果，利用 LVQ 可以減少存儲訓練數據集存儲規模。典型的學習矢量量化算法有LVQ1、LVQ2和LVQ3，尤以LVQ2的應用最為廣泛。
4. 邏輯回歸算法
邏輯回歸算法（ ）一般用于需要明確輸出的場景，如某些事件的發生（預測是否會發生降雨）。通常，邏輯回歸使用某種函數將概率值壓縮到某一特定范圍。
例如， 函數（S 函數）是一種具有 S 形曲線、用于二元分類的函數。它將發生某事件的概率值轉換為 0, 1 的范圍表示。
Y = E ^（b0＋b1 x）/（1 + E ^（b0＋b1 x ））
以上是一個簡單的邏輯回歸方程，B0，B1是常數。這些常數值將被計算獲得，以確保預測值和實際值之間的誤差最小。
5. 決策樹算法 Tree
決策樹（ tree）是一種特殊的樹結構，由一個決策圖和可能的結果（例如成本和風險）組成，用來輔助決策。機器學習中，決策樹是一個預測模型，樹中每個節點表示某個對象，而每個分叉路徑則代表某個可能的屬性值，而每個葉節點則對應從根節點到該葉節點所經歷的路徑所表示的對象的值。決策樹僅有單一輸出，通常該算法用于解決分類問題。
一個決策樹包含三種類型的節點：
簡單決策樹算法案例，確定人群中誰喜歡使用信用卡。考慮人群的年齡和婚姻狀況，如果年齡在30歲或是已婚，人們更傾向于選擇信用卡，反之則更少。
通過確定合適的屬性來定義更多的類別，可以進一步擴展此決策樹。在這個例子中，如果一個人結婚了，他超過30歲，他們更有可能擁有信用卡（100% 偏好）。測試數據用于生成決策樹。
注意：對于那些各類別樣本數量不一致的數據，在決策樹當中信息增益的結果偏向于那些具有更多數值的特征。
6. k-平均算法 K-Means
k-平均算法(K-Means)是一種無監督學習算法，為聚類問題提供了一種解決方案。
K-Means 算法把 n 個點（可以是樣本的一次觀察或一個實例）劃分到 k 個集群（），使得每個點都屬于離他最近的均值（即聚類中心，）對應的集群。重復上述過程一直持續到重心不改變。
7. 隨機森林算法
隨機森林算法（ ）的名稱由 1995 年由貝爾實驗室提出的 而來，正如它的名字所說的那樣，隨機森林可以看作一個決策樹的集合。
隨機森林中每棵決策樹估計一個分類，這個過程稱為“投票（vote）”。理想情況下，我們根據每棵決策樹的每個投票，選擇最多投票的分類。
8. 樸素貝葉斯算法 Naive Bayes
樸素貝葉斯算法（Naive Bayes）基于概率論的貝葉斯定理，應用非常廣泛，從文本分類、垃圾郵件過濾器、醫療診斷等等。樸素貝葉斯適用于特征之間的相互獨立的場景，例如利用花瓣的長度和寬度來預測花的類型。“樸素”的內涵可以理解為特征和特征之間獨立性強。
與樸素貝葉斯算法密切相關的一個概念是最大似然估計( )，歷史上大部分的最大似然估計理論也都是在貝葉斯統計中得到大發展。例如，建立人口身高模型，很難有人力與物力去統計全國每個人的身高，但是可以通過采樣，獲取部分人的身高，然后通過最大似然估計來獲取分布的均值與方差。
Naive Bayes is naive it that each input is .
9. 降維算法
在機器學習和統計學領域，降維是指在限定條件下，降低隨機變量個數，得到一組“不相關”主變量的過程，并可進一步細分為特征選擇和特征提取兩大方法。
一些數據集可能包含許多難以處理的變量。特別是資源豐富的情況下，系統中的數據將非常詳細。在這種情況下，數據集可能包含數千個變量，其中大多數變量也可能是不必要的。在這種情況下，幾乎不可能確定對我們的預測影響最大的變量。此時，我們需要使用降維算法，降維的過程中也可能需要用到其他算法，例如借用隨機森林算法4有那么好嗎，決策樹來識別最重要的變量。
10. 梯度增強算法
梯度增強算法（ ）使用多個弱算法來創建更強大的精確算法。它與使用單個估計量不同，而是使用多個估計量創建一個更穩定和更健壯的算法。梯度增強算法有幾種：