To-Do’s

[ ] ensure: $\hat{σ_i} >= 0$ (Softplus)
- [ ] Gibt unser Netz $\hat{σ_i}$ oder $\hat{\log{σ_i}}$ aus (dann Softplus nicht nötig)?
[ ] inference function for prediction
[ ] Functions for plots after training (Epoch-Nr. vs Loss, Data vs Estimation etc.)
[ ] add final evaluation on test dataset after training
[ ] add summary function Parameter und Plots?
[ ] training function: Dont print loss for every epoch; Make validation process work with outputs from split function
[ ] create NN-function that combines everything (Data prep, Training, Testing, Plots)
[ ] Train Network sollte TrainLoader, TestLoader und ValLoader als Input haben, validation_y muss er automatisch finden
[ ] Normalization darf nicht auf Test Datensatz angewendet werden (?) nur auf Train und Val
[ ] valdiation forward in trainings loop auf batch iteration anpassen (ValLoader und daraus ValTargets bestimmen) oder wollen wir pro epoch einmal einen validation forward auf den gesamten Validation Split?
[x] optimizer als input der train funktion
[ ] Scheduler und Early stopping in train einbauen
[ ] punkt- und intervallschätzung in summary als plots einbauen
[ ] nächste schritte generalisation (mehr als 1 input variable plotten via PCA?)

R libraries

Library	Funktion	Usecase
numDeriv	grad() / jacobian()	Partielle Ableitungen
stats	optim()	optimization der loss funktion