人們通常會拿大模型加上自己的訓練資料打造屬於自己的模型 若看到別人的模型很好想要類似的功能,需要拿到對方的資料 訓練在自己的模型上,而且還要考慮「災難性遺忘」 訓練時還需要同步加上幾筆自己的資料~有點麻煩

merging可以不需要對方的資料也不需要考慮遺忘
問題是:類神經網路的參數是可以這樣加減嗎?(可以)

前提是來自相同的foundation model

上圖一個是防禦機制很強的模型 一個是會講中文 合併之後不論中英文詢問盜取密碼的方法都不會破防

此方法在LLaMA3也通用韓日文也可以通用

寫程式的+很會評價的模型。很會看圖很會看圖+會評價模型
也可以使用在相減的模型(應用在沒辦法說髒話)

也可以應用在類比的模型

在沒有taskD的情況下學習taskD
只要拿AB相減,C+(B-A)的資料,可以得到D
