La migliore funzione di attivazione per Ensemble?

Question

Ho creato un modello di regressione logistica (preprocessing diverso) con la funzione Softmax. E mescolo tutto il modello con un ensemble con un metodo gerarchico. Quindi l'output di tutto il modello (base) verrà utilizzato come input per il modello finale (regressione logistica anche).

Il modello di base predefinito utilizzava una funzione softmax. Penso che trasformare un valore fiducioso in una probabilità perderà molte informazioni. Quindi ho un piano per cambiare il softmax in funzione di attivazione.

Quello che imparo nella mia classe CNN, Relu è la migliore funzione di attivazione predefinita per un'immagine. Ma il mio caso è l'e-mail di classificazione multi-classe.

Quale funzione di attivazione dovrei scegliere? Relu, sigmoide o altro?

Grazie