f-дивергенция

f-дивергенцией (f-расхождением) называется класс функционалов $D_f(P\parallel Q)$, определяющих в общем случае несимметричную меру расхождения между двумя распределениями вероятностей $P$ и $Q$. Обычно применяется в теории информации и теории вероятностей. Функционал однозначно определяется (порождается) функцией $f(t)$, удовлетворяющей определённым условиям.

Данный класс дивергенций был введён и изучался независимо друг от друга учёными Csiszár (1963), Morimoto (1963) и Ali & Silvey (1966). Поэтому иногда можно встретить названия f-дивергенция Чисара, дивергенция Чисара—Моримото или расстояние Али—Силви.

Определение

Пусть $P$ и $Q$ — распределения вероятностей, заданные на множестве $\mathrm{\Omega }$, такие что $P$ абсолютно непрерывно по отношению к $Q$. Пусть функция $f(t)$ выпукла при $t\ge 0$ и $f(1)=0$. Тогда функция $f$ задаёт f-дивергенцию $P$ относительно $Q$ следующим образом:

$D_f(P\parallel Q)=\underset{\mathrm{\Omega }}{\int }f\left(\frac{dP}{dQ}\right)dQ={\mathrm{E}}_{Q}f\left(\frac{dP}{dQ}\right).$

Если $\mu$ — любая мера на $\mathrm{\Omega }$, и оба распределения $P$ и $Q$ непрерывны относительно $\mu$, т.е. существуют функции $p=\frac{dP}{d\mu }$ и $q=\frac{dQ}{d\mu }$, тогда f-дивергенция может быть записана как

$D_f(P\parallel Q)=\underset{\mathrm{\Omega }}{\int }f\left(\frac{p}{q}\right)qd\mu .$

В случае лебеговой меры $\mu =x$ распределения имеют плотности $p(x)$ и $q(x)$, тогда f-дивергенция принимает вид

$D_f(P\parallel Q)=\underset{\mathrm{\Omega }}{\int }f\left(\frac{p(x)}{q(x)}\right)q(x)dx.$

Для дискретных распределений $P=\{p_i\}$ и $Q=\{q_i\}$, где $i=1,...,N$,

$D_f(P\parallel Q)=\sum _{i=1}^{N}f\left(\frac{p_i}{q_i}\right)q_i.$

Нужно заметить, что функция $f(t)$ определена с точностью до слагаемого $c(t-1)$, где $c$ — произвольная константа. Действительно, вид f-дивергенции не зависит от выбора $c$, поскольку слагаемое $c(t-1)$ функции $f(t)$ даёт нулевой вклад в значение интеграла. Кроме того, функция $f(t)$ может содержать положительную мультипликативную константу $k$, которая определяет единицу измерения дивергенции. В связи с этим некоторые авторы (например, Basseville (2010)) указывают дополнительные ограничения, налагаемые на функцию $f(t)$:

$f^{\prime }(1)=0,$

$f^{″}(1)=1.$

Первое из этих ограничений фиксирует константу $c$, второе — константу $k$. Условие $f^{\prime }(1)=0$ может быть полезно тем, что в этом случае $f(t)\ge 0$ с минимумом в точке $t=1$ (см. Liese & Vajda (2006)), и выражение для f-дивергенции интуитивно проще воспринимается. Однако такой способ конкретизировать функцию $f(t)$ не всегда удобен: например, для существования непрерывной версии f-энтропии, связанной с данной f-дивергенцией, может потребоваться другое значение константы $c$.

f-дивергенция может быть разложена в ряд Тейлора и записана в виде взвешенной суммы расстояний χ-типа (см. Nielsen & Nock (2013)).

Частные случаи f-дивергенции

Многие известные дивергенции, такие как дивергенция Кульбака—Лейблера, квадрат расстояния Хеллингера, расстояние хи-квадрат и ряд других, являются частными случаями f-дивергенции, которым соответствует определённый выбор функции $f(t)$. В следующей таблице приведены некоторые распространённые виды дивергенций между распределениями вероятностей и соответствующая им функция $f(t)$ (см. Liese & Vajda (2006)).

Дивергенция	Порождающая функция $f(t)$
Дивергенция Кульбака—Лейблера	$t\ln t$
Обратная Дивергенция Кульбака—Лейблера	$-\ln t$
Квадрат расстояния Хеллингера	$\frac{1}{2}(\sqrt{t}-1{)}^2,1-\sqrt{t},t-\sqrt{t}$
Расстояние полной вариации	$\frac{1}{2}|t-1|$
Расстояние ${\chi }^2$ Пирсона	$(t-1{)}^2,t^2-1,t^2-t$
Расстояние ${\chi }^2$ Неймана	$\frac{1}{t}-1,\frac{1}{t}-t$
Альфа-дивергенция	$\{\begin{array}{ll}\frac{4}{1-{\alpha }^2}(t-t^{(1+\alpha )/2}),& \text{если}\alpha \ne \pm 1,\\ t\ln t,& \text{если}\alpha =1,\\ -\ln t,& \text{если}\alpha =-1\end{array}$
Альфа-дивергенция (другие обозначения)	$\{\begin{array}{ll}\frac{t^{\alpha }-t}{\alpha (\alpha -1)},& \text{если}\alpha \ne 0,\alpha \ne 1,\\ t\ln t,& \text{если}\alpha =1,\\ -\ln t,& \text{если}\alpha =0\end{array}$

Свойства

• Неотрицательность: ƒ-дивергенция всегда неотрицательна, и равна нулю, только если распределения $P$ и $Q$ совпадают. Это непосредственно следует из неравенства Йенсена:

  $D_f(P\parallel Q)=\underset{\mathrm{\Omega }}{\int }f\left(\frac{dP}{dQ}\right)dQ\ge f\left(\underset{\mathrm{\Omega }}{\int }\frac{dP}{dQ}dQ\right)=f(1)=0.$

• Монотонность: если $\kappa$ — произвольная переходная вероятность, которая переводит меры $P$ и $Q$ соответственно в $P_{\kappa }$ и $Q_{\kappa }$, тогда
  $D_f(P\parallel Q)\ge D_f(P_{\kappa }\parallel Q_{\kappa }).$
  Равенство здесь имеет место тогда и только тогда, когда переход порождается достаточной статистикой по отношению к $\{P,Q\}$.
• Совместная выпуклость: для любого $0\le \lambda \le 1$

  $D_f(\lambda P_1+(1-\lambda )P_2\parallel \lambda Q_1+(1-\lambda )Q_2)\le \lambda D_f(P_1\parallel Q_1)+(1-\lambda )D_f(P_2\parallel Q_2).$

  Это следует из выпуклости отображения $(p,q)\mapsto qf(p/q)$ на ${\mathbb{ℝ}}_{+}^2$.
• Самодвойственность: если $D(P\parallel Q)$ является f-дивергенцией, то $D(Q\parallel P)$ тоже является f-дивергенцией, т.е. класс f-дивергенций содержит как прямые, так и обратные (двойственные) дивергенции. Действительно,

  ${D^{*}}_f(P\parallel Q)\stackrel{\mathrm{d}\mathrm{f}}{=}{D}_f(Q\parallel P)=\underset{\mathrm{\Omega }}{\int }f\left(\frac{dQ}{dP}\right)dP=\underset{\mathrm{\Omega }}{\int }{f}^{*}\left(\frac{dP}{dQ}\right)dQ=D_{f^{*}}(P\parallel Q),$

  где $f^{*}(t)=tf(1/t)$ — двойственная порождающая функция. Нетрудно видеть, что $f^{*}(1)=f(1)=0$, $f^{*}(t)$ непрерывна (кроме, быть может, точки $t=0$) и $f^{*}{\text{'}}^{\prime }(t)=\frac{1}{t^3}{f}^{″}(1/t)\ge 0$ почти всюду на $t\ge 0$ в силу выпуклости $f$, т.е. функция $f^{*}(t)$ удовлетворяет условиям порождающей функции f-дивергенции.

С учётом последнего свойства класс f-дивергенций можно было бы эквивалентным образом определить как ${D^{*}}_f(P\parallel Q)={\mathrm{E}}_{P}f\left(\frac{dQ}{dP}\right)$. Подобное определение встречается, например, у Zhang (2004). Таким образом, интерпретация распределения $Q$ как истинного, которая следует из определения f-дивергенции, не является её фундаментальным свойством, а является лишь следствием соглашения о порядке следования аргументов в определении. Иными словами, аргументы $P$ и $Q$ концептуально равноправны.

Также стоит отметить, что f-дивергенция является безразмерной величиной независимо от размерности множества $\mathrm{\Omega }$.

Связанные понятия

Кроме f-дивергенции, И. Чисар определил связанное с ней понятие f-энтропии (Csiszár (1972)).