Meta-learning就是教會它怎么學！

大家以為AI都是很牛，但其實就是在調參，在工業界怎么樣子調參呢？ 使用1000GPUs，而學業界只有一張！ 我們知道Machine learning可以學出來，那么hyperparameters是不是能學出來呢？

我們回顧一下Machine Learing！其實就是三個步驟：

這里，我們定義了函數f($\theta$)，我們需要找到那個使得L($\theta$)最小的${\theta }^{?}$! 同時使用$f_{{\theta }^{?}}$成為最終的模型訓練！

What is Meta Learning？

我們原來都是設置模型，并且調參從而得到我們最后的函數！
那么我們是不是能讓機器來學習這個模型，學習合適的參數呢？

Meta-learning - Step 1

在學習算法中什么是可以學習的？

Meta learning – Step 2

Define loss function for learning algorithm $F_{?}$

怎么定義$L(?)$?

我們會分為multi tasks，同一個F不同的任務，最終取所有損失之和！ 這里需要注意，我們是在測試階段進行損失的計算的！ 這是和一般的機器學習很大的不同之處！

Meta learning – Step 3

不管使用什么方法，我們也是找到最合適的$\theta$

把問題想象成Training tasks 和 Testing tasks！
Few-shot是目標，Meta是手段！

MeatLearning vs ML

Goal

Training Data

在Meta Learning里面，我們只有Training tasks的劃分，每個訓練任務中我們有Train和Test集！ 但是這聽起來有點繞口，所以就Train set稱為了Support set， 而Test set稱為Query set！

Task

在ML中只有一個任務，一個任務中訓練集和測試集！
但是在Meta Learning中，卻是Training Tasks，多個Task，取各個任務的loss，并求和！

這里我們可以量一個Testing Task稱為一個episode！

Loss

每個任務都需要計算損失，這個計算量是很大的！
這里我們將Across-task Learning叫做Outer Loop；
而Within-task則稱為Inner Loop！

Same

Meta-Learning也是需要有超參數的，但是這里的超參數理想情況下是一勞永逸，可以用在任何形式上！

Devlopment task： 是用來當工具的，比如學習率我們不知道是不是可行，那么就需要用在Development task來操作的！

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的李宏毅机器学习（十一）meta-learning和ML一样是三个步骤的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。