機器學習是人工智能的核心技術之一，基本的機器學習算法可以分為：1．線性回歸；2．支持向量機（SVM）；3．最近鄰居（KNN）；4．邏輯回歸；5．決策樹；6．k平均；7．隨機森林；8．樸素貝葉斯；9．降維；10．梯度增強
上述算法中可具體分為三類：
1．監(jiān)督學習算法 ：在監(jiān)督學習訓練過程中，可以由訓練數據集學到或建立一個模式，并依此模式推測新的實例。該算法要求特定的輸入／輸出，首先需要決定使用哪種數據作為范例。例如，文字識別應用中一個手寫的字符，或一行手寫文字。主要算法包括神經網絡、支持向量機、最近鄰居法、樸素貝葉斯法、決策樹等。
2．無監(jiān)督學習算法 （Unsupervised Algorithms）：根據類別未知（沒有被標記）的訓練樣本解決模式識別中的各種問題，稱之為無監(jiān)督學習。 最典型的非監(jiān)督學習算法包括單類密度估計、單類數據降維、聚類等。
3．強化學習算法 （Reinforcement Algorithms）：強化學習是智能系統(tǒng)從環(huán)境到行為映射的學習，以使強化信號函數值最大。主要基于決策進行訓練，算法根據輸出結果（決策）的成功或錯誤來訓練自己，通過大量經驗訓練優(yōu)化后的算法將能夠給出較好的預測。類似有機體在環(huán)境給予的獎勵或懲罰的刺激下，逐步形成對刺激的預期，產生能獲得最大利益的習慣性行為。在運籌學和控制論的語境下，強化學習被稱作“近似動態(tài)規(guī)劃”（approximate dynamic programming，ADP）。
1．線性回歸算法
回歸分析是統(tǒng)計學的數據分析方法，目的在于了解兩個或多個變量間是否相關、相關方向與強度，并建立數學模型以便觀察特定變量來預測其它變量的變化情況。
線性回歸算法的建模過程就是使用數據點來尋找最佳擬合線。公式，s ＝ mx ＋ c，其中 s 是因變量，x 是自變量，利用給定的數據集求 m 和 c 的值。
線性回歸又分為兩種類型，即簡單線性回歸（simple linear regression），只有 1 個自變量；多變量回歸中，至少兩組以上自變量。
2．支持向量機算法
支持向量機／網絡算法（SVM）屬于分類型算法。SVM模型將實例表示為空間中的點，將使用一條直線分隔數據點。需要注意的是，支持向量機需要對輸入數據進行完全標記，僅直接適用于兩類任務，應用將多類任務需要減少到幾個二元問題。
3．k－近鄰算法
KNN算法是一種基于實例的學習，或者是局部近似和將所有計算推遲到分類之后的惰性學習。用最近的鄰居（k）來預測未知數據點。k 值是預測精度的一個關鍵因素，無論是分類還是回歸，衡量鄰居的權重都非常有用，較近鄰居的權重比較遠鄰居的權重大。
KNN 算法的缺點是對數據的局部結構非常敏感。計算量大，需要對數據進行規(guī)范化處理，使每個數據點都在相同的范圍。
4．邏輯回歸算法
邏輯回歸算法一般用于需要明確輸出的場景，如某些事件的發(fā)生（預測是否會發(fā)生降雨）。通常，邏輯回歸使用某種函數將概率值壓縮到某一特定范圍。
例如，Sigmoid 函數（S 函數）是一種具有 S 形曲線、用于二元分類的函數。它將發(fā)生某事件的概率值轉換為 0－1 的范圍表示。
5． 決策樹算法 Decision Tree
決策樹是一種特殊的樹結構，由一個決策圖和可能的結果（例如成本和風險）組成，用來輔助決策。機器學習中，決策樹是一個預測模型，樹中每個節(jié)點表示某個對象，而每個分叉路徑則代表某個可能的屬性值，而每個葉節(jié)點則對應從根節(jié)點到該葉節(jié)點所經歷的路徑所表示的對象的值。決策樹僅有單一輸出，通常該算法用于解決分類問題。
一個決策樹包含三種類型的節(jié)點：
決策節(jié)點：通常用矩形框來表示
機會節(jié)點：通常用圓圈來表示
終結點：通常用三角形來表示
6．k－平均算法
k－平均算法是一種無監(jiān)督學習算法，為聚類問題提供了一種解決方案。
K－Means 算法把 n 個點劃分到 k 個集群（cluster），使得每個點都屬于離他最近的均值（即聚類中心，centroid）對應的集群。重復上述過程一直持續(xù)到重心不改變。
7．隨機森林算法
隨機森林算法的名稱由 1995 年由貝爾實驗室提出的random decision forests 而來，正如它的名字所說的那樣，隨機森林可以看作一個決策樹的集合。
隨機森林中每棵決策樹估計一個分類，這個過程稱為“投票（vote）”。理想情況下，我們根據每棵決策樹的每個投票，選擇最多投票的分類。
8．樸素貝葉斯算法
樸素貝葉斯算法基于概率論的貝葉斯定理，應用非常廣泛，從文本分類、垃圾郵件過濾器、醫(yī)療診斷等等。樸素貝葉斯適用于特征之間的相互獨立的場景，例如利用花瓣的長度和寬度來預測花的類型?！皹闼亍钡膬群梢岳斫鉃樘卣骱吞卣髦g獨立性強。
9． 降維算法 Dimensional Reduction
在機器學習和統(tǒng)計學領域，降維是指在限定條件下，降低隨機變量個數，得到一組“不相關”主變量的過程，并可進一步細分為特征選擇和特征提取兩大方法。
一些數據集可能包含許多難以處理的變量。特別是資源豐富的情況下，系統(tǒng)中的數據將非常詳細。在這種情況下，數據集可能包含數千個變量，其中大多數變量也可能是不必要的。在這種情況下，幾乎不可能確定對我們的預測影響最大的變量。此時，我們需要使用降維算法，降維的過程中也可能需要用到其他算法，例如借用隨機森林，決策樹來識別最重要的變量。
10． 梯度增強算法 Gradient Boosting
梯度增強算法（Gradient Boosting）使用多個弱算法來創(chuàng)建更強大的精確算法。它與使用單個估計量不同，而是使用多個估計量創(chuàng)建一個更穩(wěn)定和更健壯的算法。梯度增強算法：
XGBoost—使用線性和樹算法
LightGBM—只使用基于樹的算法
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
