maisМоделирование и анализ информационных системModeling and Analysis of Information Systems1818-10152313-5417Yaroslavl State University10.18255/1818-1015-2013-2-178-185mais-216Research ArticleОригинальные статьиArticlesАлгоритм эффективного оценивания энтропииAlgorithm for Efficient Entropy EstimationТимофеевЕвгений АлександровичTimofeevE. A.

д-р физ.-мат. наук, профессор,

150000 Россия, г. Ярославль, ул. Советская, 14

д-р физ.-мат. наук, профессор,

Sovetskaya str., 14, Yaroslavl, 150000, Russia

TimofeevEA@gmail.comЯрославский государственный университет им. П. Г. ДемидоваРоссияP.G. Demidov Yaroslavl State UniversityRussian Federation201320042013202178185Copyright © Тимофеев Е.А., 20132013Тимофеев Е.А.Timofeev E.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.mais-journal.ru/jour/article/view/216

Рассматривается задача непараметрического оценивания энтропии стационарного эргодического процесса. Применяется подход, основанный на нахождении рас- стояний до ближайших точек. Предложен довольно большой класс метрик на пространстве Ω = AN правосторонних бесконечных последовательностей над конечным алфавитом A. Новая метрика имеет параметр – невозрастающую функцию. Доказано, что при некоторых ограничениях предлагаемая оценка имеет малую дисперсию. Показано, что специальный выбор параметров позволяет уменьшить смещение. Описан алгоритм для выбора таких параметров. Статья публикуется в авторской редакции.

We consider the problem of the nonparametric entropy estimation of a stationary ergodic process. Our approach is based on the nearest-neighbor distances. We propose a broad class of metrics on the space Ω = AN of right-sided infinite sequences drawn from a finite alphabet A. The new metric has a parameter which is a non-increasing function. We apply this metrics to nearest-neighbor entropy estimators. We prove that, under certain conditions, the estimators has a small variance. We show that a special selection of the metric parameters reduction of the estimator’s bias. The article is published in the author’s wording.

энтропиянепараметрическая оценкаметрикашармера Бернуллиentropynonparametric statisticmetricballBernoulli’s measureReferencesDeza M., Deza T. Encyclopedia of Distances, Springer, 2009.Deza M., Deza T. Encyclopedia of Distances, Springer, 2009.Kaltchenko A., Timofeeva N. Entropy Estimators with Almost Sure Convergence and an O(n¯¹) Variance //Advances in Mathematics of Communications. 2008. V. 2, №1. P. 1–13.Kaltchenko A., Timofeeva N. Entropy Estimators with Almost Sure Convergence and an O(n¯¹) Variance //Advances in Mathematics of Communications. 2008. V. 2, №1. P. 1–13.Silvapulle, M.J., Sen, P.K. Constrained statistical inference: Inequality, order and shape restrictions, John Wiley & Sons, USA. 2005.Silvapulle, M.J., Sen, P.K. Constrained statistical inference: Inequality, order and shape restrictions, John Wiley & Sons, USA. 2005.Timofeev E.A. Statistical Estimation of measure invariants // St. Petersburg Math. J. 2006. 17, №3. P. 527–551.Timofeev E.A. Statistical Estimation of measure invariants // St. Petersburg Math. J. 2006. 17, №3. P. 527–551.Градштейн И.С., Рыжик И.М. Таблицы интегралов, сумм, рядов и произведений. М.: Наука, 1971 (Gradshteyn I.S., Ryzhik I.M. Tablitsy integralov, summ, ryadov i proizvedeniy. Moskva: Nauka, 1971 [in Russian]).Градштейн И.С., Рыжик И.М. Таблицы интегралов, сумм, рядов и произведений. М.: Наука, 1971 (Gradshteyn I.S., Ryzhik I.M. Tablitsy integralov, summ, ryadov i proizvedeniy. Moskva: Nauka, 1971 [in Russian]).

The authors declare that there are no conflicts of interest present.