functions

logistic sigmoid函数

$$\sigma(x) = \frac{1}{1+\exp(-x)}$$

意义：

1. $\sigma(x) \in (0, 1)$

2. 通常用来产生Bernoulli分布中的参数$\phi$

3. 当|x|非常大时会饱和，饱和是指$\sigma'(x)$的变化非常缓慢。

softplus函数

$$\zeta(x) = \log(1+\exp(x))$$

意义：

1. $\zeta(x) \in (0, +\infty)$

2. 用于产生高斯分布的$\beta$或$\sigma$参数，$\beta = \frac{1}{\sigma^2}$

3. 是$x_+ = max(0, x)$函数是平滑形式

有用性质：

径向基函数 Radial Basis Function

将一个点到另一个点的距离映射成一个实值的函数。 这里面有三个未知： （1）另一个点是什么点？默认是原点，也可以是指定点p。 （2）距离是什么距离？一般都使用欧氏距离 （3）对距离做怎样的操作？不同的RBF只要是这一点的不同。

欧氏径向基

距离为欧氏距离：

$$\begin{aligned} r(x) = ||x||_2 \\ r(x, p) = ||x-p||_2 \end{aligned}$$

操作为线性操作：

$$\phi(r) = r$$

高斯径向基

距离为欧氏距离 操作为高斯函数：

$$\phi(r) = \exp(-\frac{r^2}{2\sigma^2})$$