Preview

Моделирование и анализ информационных систем

Расширенный поиск

Существование несмещенной оценки энтропии для специальной меры Бернулли

https://doi.org/10.18255/1818-1015-2017-5-521-536

Аннотация

Пусть \(\Omega = A^{N}\)  - пространство правосторонних бесконечных последовательностей символов из алфавита \(A = \{0,1\}\),  \(N = \{1,2,\dots \}\),
\[\label{rho}
  \rho(\boldsymbol{x},\boldsymbol{y}) =
\sum_{k=1}^{\infty}|x_{k} - y_{k}|2^{-k}
\]
- метрика на \(\Omega\) и \(\mu\) - вероятностная мера на \(\Omega\). Пусть \(\boldsymbol{\xi_0}, \boldsymbol{\xi_1}, \dots, \boldsymbol{\xi_n}\) - независимые случайные точки на \(\Omega\), распределенные по мере \(\mu\). Будем изучать оценку \(\eta_n^{(k)}(\gamma)\) величины обратной к энтропии \(1/h\), которая определяется следующим образом:

\[ \label{etan}
\eta_n^{(k)}(\gamma) = k \left(r_{n}^{(k)}(\gamma) - r_{n}^{(k+1)}(\gamma)\right),\]
где
\[\label{def_r}
r_n^{(k)}(\gamma) =
\frac{1}{n+1}\sum_{j=0}^{n} \gamma\left(\min_{i:i \neq j} {^{(k)}}
\rho(\boldsymbol{\xi_{i}}, \boldsymbol{\xi_{j}})\right),
\]
\(\min ^{(k)}\{X_1,\dots,X_N\}=  X_k\), if  \(X_1\leq X_2\leq \dots\leq X_N\). Число \(k\) и функция \(\gamma(t)\)  - вспомогательные параметры. Основной результат работы:
Теорема. Пусть \(\mu\) -  мера Бернулли с вероятностями \(p_0,p_1>0\), \(p_0+p_1=1\), \(p_0=p_1^2\), тогда существует функция \(\gamma(t)\) такая, что
\[E\eta_n^{(k)}(\gamma) =  \frac1h.\]

Об авторе

Евгений Александрович Тимофеев
Ярославский государственный университет им. П.Г. Демидова
Россия
доктор физ.-мат. наук, профессор


Список литературы

1. Falconer K. J., Fractal geometry: Mathematical Foundation and Applications, John Wiley & Sons, NY, USA, 1990.

2. Gradshtein I. S., Ryzhik I. M., Table of integrals, Series, and Products, Fifth Edition, Academic Press, 1994.

3. Grassberger P., “Estimating the information content of symbol sequences and efficient codes”, IEEE Trans. Inform. Theory, 35 (1989), 669–675.

4. Hutchinson J. E., “Fractals and sel-similarity”, Indiana Univ. Math. J., 30 (1981), 713– 747.

5. Timofeev E. A., “Selection of a Metric for the Nearest Neighbor Entropy Estimators”, Journal of Mathematical Sciences, 203:6 (2014), 892–906.

6. Kaltchenko A., Timofeeva N., “Entropy Estimators with Almost Sure Convergence and an O(n −1 ) Variance”, Advances in Mathematics of Communications, 2:1 (2008), 1–13.

7. Kaltchenko A., Timofeeva N., “Rate of convergence of the nearest neighbor entropy estimator”, AEU – International Journal of Electronics and Communications, 64:1 (2010), 75–79.

8. Tимофеева Н. Е., “Построение оценки энтропии для специальной метрики и произвольной функции”, Модел. и анализ информ. систем, 20:6 (2013), 174–178; [Timofeeva N. E., “Construction of Entropy Estimator with Special Metric and Arbitrary Function”, Modeling and Analysis of Information Systems, 20:6 (2013), 174–178, (in Russian)].

9. Timofeev E. A., “Bias of a nonparametric entropy estimator for Markov measures”, Journal of Mathematical Sciences, 176:2 (2011), 255–269.

10. Timofeev E. A., “Statistical Estimation of measure invariants”, St.Petersburg Math. J., 17:3 (2006), 527–551.


Рецензия

Для цитирования:


Тимофеев Е.А. Существование несмещенной оценки энтропии для специальной меры Бернулли. Моделирование и анализ информационных систем. 2017;24(5):521-536. https://doi.org/10.18255/1818-1015-2017-5-521-536

For citation:


Timofeev E.A. Existence of an Unbiased Entropy Estimator for the Special Bernoulli Measure. Modeling and Analysis of Information Systems. 2017;24(5):521-536. (In Russ.) https://doi.org/10.18255/1818-1015-2017-5-521-536

Просмотров: 799


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 1818-1015 (Print)
ISSN 2313-5417 (Online)