这些天我一直在试验神经网络。我遇到了一个关于要使用的激活函数的一般问题。这可能是众所周知的事实，但我无法正确理解。我见过的很多例子和论文都在研究分类问题，它们要么使用 sigmoid(在二进制情况下)要么使用 softmax(在多类情况下)作为输出层的激活函数，这是有道理的。但是我还没有看到在回归模型的输出层中使用任何激活函数。
所以我的问题是，我们是否选择在回归模型的输出层中不使用任何激活函数，因为我们不希望激活函数限制或限制该值。输出值可以是任何数字，大到数千，所以像 sigmoid 到 tanh 这样的激活函数没有意义。还是有其他原因？或者我们实际上可以使用一些针对此类问题的激活函数？
请您参考如下方法:
如果你有一个 Sigmoid 作为神经网络输出层的激活函数，你将永远不会得到任何小于 0 和大于 1 的值。
基本上，如果您尝试预测的数据分布在该范围内，您可能会使用 Sigmoid 函数并测试您的预测是否在训练集上表现良好。
更一般地说，在预测数据时，您应该提出以最有效方式表示数据的函数。
因此，如果您的真实数据不能很好地拟合 Sigmoid 函数，您必须考虑任何其他函数(例如某些多项式函数、或周期函数或任何其他函数或它们的组合)，但您还应该始终关心构建您的函数的难易程度成本函数和评估导数。
