三、元學習 Meta Learning

元學習也就是＂學習如何學習＂，通過對現(xiàn)有的學習任務(wù)之間的性能差異進行系統(tǒng)的觀測，然后學習已有的經(jīng)驗和元數(shù)據(jù)，用于更好的執(zhí)行新的學習任務(wù)。這樣做可以極大的該靜機器學習流水線或者神經(jīng)網(wǎng)絡(luò)架構(gòu)的設(shè)計，也可以用數(shù)據(jù)驅(qū)動的方式取代手工作坊似的算法工程工作。

從某種意義上來說，元學習覆蓋了超參數(shù)優(yōu)化，因為元數(shù)據(jù)的學習包含了：超參數(shù)，流水線的構(gòu)成，神經(jīng)網(wǎng)絡(luò)架構(gòu)，模型構(gòu)成，元特征等等。

機器學習的算法我們又稱為‘學習器’，學習器就是假定一個模型，該模型擁有很多未知參數(shù)，利用訓練數(shù)據(jù)和優(yōu)化算法來找到最適合這些訓練數(shù)據(jù)的參數(shù)，生成一個新的算法，或者參數(shù)已知的模型，并利用該模型／算法來預測新的未知數(shù)據(jù)。如果說世界上只有一個模型，那么問題就簡單了，問題是模型有很多，不同的模型擁有不同的超參數(shù)，我們往往還會把模型和算法組裝在一起構(gòu)成復合模型和機器學習的流水線，這個時候，我就需要知道解決不同的問題要構(gòu)建那些不同的模型。元學習就在這個時候，我們可以把超參數(shù)，流水線，神經(jīng)網(wǎng)絡(luò)架構(gòu)這些都看成是一個新的模型的未知參數(shù)，把不同學習任務(wù)的性能指標看成是輸入數(shù)據(jù)，這樣我們就可以利用優(yōu)化算法來找到性能最好的那組參數(shù)。這個模式可以一直嵌套，也就是說，你可以有‘元元元學習‘，當然我希望你不要走得太遠，找不到回來的路。

元學習的方法包括：

通過模型評估來學習

通過任務(wù)的屬性，元特征來學習

以下列出了一些常見的元特征

從現(xiàn)有的模型中學習，包括：

遷移學習

利用RNN在學習過程中修改自己的權(quán)重

元學習的一個很大的挑戰(zhàn)就是如果通過很少的訓練數(shù)據(jù)來學習一個復雜的模型，這就是one－shot或者few－shot的問題。

像人類的學習一樣，每次學習無論成功失敗，我們都收獲一定的經(jīng)驗，人類很少從頭學習。在構(gòu)建自動學習的時候，我們也應(yīng)該充分利用已有的每一次的學習經(jīng)驗，逐步的改進，使得新的學習更加有效。

四、神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索

Neural Architecture Search

提起AutoML，其實大多數(shù)人都是因為Google的AutoML系統(tǒng)才知道這個故事的。隨著深度學習的流行，神經(jīng)網(wǎng)絡(luò)的架構(gòu)變得越來越復雜，越來越多的手工工程也隨之而來。神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索就是為了解決這個問題。

NAS主要包含三個部分：

搜索空間 search space

搜索策略 search strategy

性能估計策略 performance estimation strategy

五、自動化特征工程

自動化特征工程可以幫助數(shù)據(jù)科學家基于數(shù)據(jù)集自動創(chuàng)建能夠最好的用于訓練的特征。

Featuretools是一個開源庫，用來實現(xiàn)自動化特征工程。它是一個很好的工具，旨在加快特征生成的過程，從而讓大家有更多的時間專注于構(gòu)建機器學習模型的其他方面。換句話說，它使你的數(shù)據(jù)處于“等待機器學習”的狀態(tài)。

Featuretools程序包中的三個主要組件：

實體（Entities）

深度特征綜合（Deep Feature Synthesis ，DFS）

特征基元（Feature primitives）

一個Entity可以視作是一個Pandas的數(shù)據(jù)框的表示，多個實體的集合稱為Entityset。

深度特征綜合（DFS）與深度學習無關(guān)，不用擔心。實際上，DFS是一種特征工程方法，是Featuretools的主干。它支持從單個或者多個數(shù)據(jù)框中構(gòu)造新特征。

DFS通過將特征基元應(yīng)用于Entityset的實體關(guān)系來構(gòu)造新特征。這些特征基元是手動生成特征時常用的方法。例如，基元“mean”將在聚合級別上找到變量的平均值。

六、其它自動機器學習工具集

以下列出一些開源的自動機器學習工具空大家參考、選擇

Auto－Sklearn

AutoKeras

TPOT

H2O AutoML

Python auto＿ml