Сигмоида

Логистическая кривая (сигмоида)

Сигмо́ида — это гладкая монотонная возрастающая нелинейная функция, имеющая форму буквы «S», которая часто применяется для «сглаживания» значений некоторой величины.

Часто под сигмоидой понимают логистическую функцию

$\sigma (x)=\frac{1}{1+e^{-x}}.$

Сигмоида ограничена двумя горизонтальными асимптотами, к которым стремится при стремлении аргумента к $\pm \mathrm{\infty }.$ В зависимости от соглашения, этими асимптотами могут быть y = ±1 (в $\pm \mathrm{\infty }$) либо y = 0 в $-\mathrm{\infty }$ и y = +1 в $+\mathrm{\infty }$.

Производная сигмоиды представляет собой колоколообразную кривую с максимумом в нуле, асимптотически стремящуюся к нулю в $+\mathrm{\infty }$.

Семейство функций класса сигмоид

Сравнение некоторых сигмоидных функций, нормализованных таким образом, чтобы производная в начале координат была равна 1

В семейство функций класса сигмоид входят такие функции, как арктангенс, гиперболический тангенс и другие функции подобного вида.

• Функция Ферми — Дирака (экспоненциальная сигмоида):

$f(x)=\frac{1}{1+e^{-2\alpha x}},\alpha >0.$

• Рациональная сигмоида:

$f(x)=\frac{x}{|x|+\alpha },\alpha >0.$

• Арктангенс:

$f(x)=\mathrm{arctg}x.$

• Гиперболический тангенс:

$f(x)=\mathrm{th}\frac{x}{\alpha }=\frac{e^{\frac{x}{\alpha }}-e^{-\frac{x}{\alpha }}}{e^{\frac{x}{\alpha }}+e^{-\frac{x}{\alpha }}}.$

• Гладкая ступенька N-го порядка:

$f(x)=\{\begin{array}{ll}{\left(\underset{0}{\overset{1}{\int }}\right(1-u^2{)}^{N}du)}^{-1}\underset{0}{\overset{x}{\int }}(1-u^2{)}^{N}du& |x|\le 1\\ \mathrm{sgn}(x)& |x|\ge 1\\ \end{array}N\ge 1$

• Корневая сигмоида:

$f(x)=\frac{x}{\sqrt{1+x^2}}.$

• Логистическая функция:

$f(x)=(1+e^{-x}{)}^{-1}.$

• Обобщённая логистическая функция:

$f(x)=(1+e^{-x}{)}^{-\alpha },\alpha >0.$

• Функция ошибок:

$f(x)=\mathrm{erf}(x)=\frac{2}{\sqrt{\pi }}\underset{0}{\overset{x}{\int }}{e}^{-t^2}dt.$

• Функция Гудермана:

$f(x)=\mathrm{gd}x=\underset{0}{\overset{x}{\int }}\frac{1}{\cosh t}dt=\mathrm{arctg}(\mathrm{sh}x).$

Применение

Нейронные сети

Сигмоиды применяются в нейронных сетях в качестве функций активации. Они позволяют нейронам как усиливать слабые сигналы, так и не насыщаться от сильных сигналов.

В нейронных сетях часто используются сигмоиды, производные которых могут быть выражены через саму функцию. Это позволяет существенно сократить вычислительную сложность метода обратного распространения ошибки, сделав его применимым на практике:

${\sigma }^{\prime }(x)=(1+\sigma (x))\cdot (1-\sigma (x))$ — для гиперболического тангенса;

${\sigma }^{\prime }(x)=\sigma (x)\cdot (1-\sigma (x))$ — для логистической функции.

Логистическая регрессия

Логистическая функция $f(x)=\frac{1}{1+e^{-x}}$ используется в решении задач классификации с использованием логистической регрессии. Пусть решается задача классификации с двумя классами ($y=0$ и $y=1$, где $y$ — переменная, указывающая класс объекта). Делается предположение о том, что вероятность принадлежности объекта к одному из классов выражается через значения признаков этого объекта $x_1,x_2,...,x_n$ (действительные числа):

$\mathbb{\mathbb{P}}\{y=1\mid x_1,\dots ,x_n\}=f(a_1{x}_1+\dots +a_n{x}_n)=\frac{1}{1+\exp (-a_1{x}_1-\dots -a_n{x}_n)},$

где $a_1,...,a_n$ — некоторые коэффициенты, требующие подбора, обычно, методом наибольшего правдоподобия.

Именно такая функция $f(x)$ получается при использовании обобщённой линейной модели и предположения, что зависимая переменная $y$ распределена по закону Бернулли.

См. также

• Искусственная нейронная сеть
• Перцептрон
• Модифицированный гиперболический тангенс

Литература

• Mitchell, Tom M. Machine Learning. — WCB–McGraw–Hill, 1997. — ISBN 0-07-042807-7.

Ссылки

• Сравнение быстроты нескольких программных реализаций гиперболического тангенса
• Humphrys, Mark. Continuous output, the sigmoid function (англ.).