Ⅰ 1. 從零開始搭建大語言模型——簡單的神經網路模型
本文主要介紹了從零開始搭建大語言模型時,神經網路模型的簡單構建過程。首先,我們假設讀者對游戲開發有一定基礎,對線性代數有所了解。神經網路的基礎結構其實非常直觀,可以用線性代數公式y = ax + b表示,其中y是輸出,x是輸入,a和b是學習參數。對於多輸入問題,公式變為y = [a1 a2 a3 a4 a5] x transpose([x1 x2 x3 x4 x5]) + b,這代表一個線性分類問題。
然而,現實生活中的問題往往非線性,這時神經網路通過激活函數如ReLU進行非線性變換。ReLU函數f(x) = max(0, x)是常用的選擇,其作用是將線性結果轉換為非線性,便於處理復雜問題。多層神經網路結構中,各層之間通過激活函數和全連接方式連接,輸出層通常使用softmax函數,將結果規范化並求最大值以得出最終預測。
盡管公式看似復雜,但實際開發中,大多數情況下神經網路API已內置了這些功能,無需深入理解每個細節。下一章節將深入講解損失函數和反向傳播演算法,這兩者是訓練神經網路的關鍵步驟。
Ⅱ 只有溫度數據怎麼建立rbf神經網路模型
該網路的輸出是什麼?RBF神經網路的建立和訓練主要有以下幾種形式:
1.net=newrbe(P,T,spread)
newrbe()函數可以快速設計一個徑向基函數網路,且是的設計誤差為0。第一層(徑向基層)神經元數目等於輸入向量的個數,加權輸入函數為dist,網路輸入函數為netprod;第二層(線性層)神經元數模有輸出向量T確定,加權輸入函數為dotprod,網路輸入函數為netsum。兩層都有閥值。
第一層的權值初值為p',閥值初值為0.8326/spread,目的是使加權輸入為±spread時徑向基層輸出為0.5,閥值的設置決定了每一個徑向基神經元對輸入向量產生響應的區域。
2.[net,tr] =newrb(P,T,goal,spread,MN,DF)
該函數和newrbe一樣,只是可以自動增加網路的隱層神經元數模直到均方差滿足精度或者神經元數模達到最大為止。
P=-1:0.1:1;
T=sin(P);
spread=1;
mse=0.02;
net=newrb(P,T,mse,spread);
t=sim(net,P);
plot(P,T,'r*',P,t)
3.還可以直接建立廣義RBF神經網路:net = newgrnn(P,T,spread)泛回歸網路(generalized regression neural network)廣義回歸網路主要用於函數逼近。它的結構完全與newbre的相同,但是有以下幾點區別(沒有說明的表示相同):
(1)第二網路的權值初值為T
(2)第二層沒有閥值
(3)第二層的權值輸入函數為normpod,網路輸入函數為netsum
P=0:1:20;
T=exp(P).*sin(P);
net=newgrnn(P,T,0.7);
p=0:0.1:20;
t=sim(net,p);
plot(P,T,'*r',p,t)