maisМоделирование и анализ информационных системModeling and Analysis of Information Systems1818-10152313-5417Yaroslavl State University10.18255/1818-1015-2016-2-93-118mais-322Research ArticleОригинальные статьиArticlesПостроение хранилища данных с динамической структуройBuilding a Data Store with the Dynamic StructureАртамоновЮ. Н.ArtamonovYu. N.

канд. техн. наук

PhD

junaart@mail.ruФедеральное государственное бюждетное научное учреждение «Госметодцентр», ул. Люсиновская, 51, г. Москва, 117997 РоссияРоссияFederal state budgetary scientific institution «Gosmetodcentr», Lyusinovskaya str., 51, Moscow, 117997 RussiaRussian Federation20162004201623293118Copyright © Артамонов Ю.Н., 20162016Артамонов Ю.Н.Artamonov Y.N.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.mais-journal.ru/jour/article/view/322

В данной работе проведен анализ подходов к построению хранилищ данных на основе реляционных и NoSQL решений, указаны ограничения реляционного подхода для интеллектуального анализа данных. Выявлено противоречие между представлением данных в реальной предметной области и моделями представления данных в реляционном и NoSQL подходах. Выявленное противоречие связано с темпоральностью не только значений отдельных атрибутов данных, но и изменчивостью состава этих атрибутов, а также структуры связей между ними. Предложена новая логическая модель хранилища данных с динамической структурой. В основу модели положено понятие объекта как своеобразного контейнера для хранения свойств. Каждое свойство объекта включает в себя имя свойства, а также два типа значений свойства – бессылочное и ссылочное, актуальных на заданный момент времени. Ссылочное значение свойства указывает на объект, имя которого интерпретируется как значение этого свойства на заданный момент времени. Дано формальное описание модели с выделением необходимого функционала по манипулированию объектами и их свойствами (селекторы, предикаты, конструкторы), введены необходимые управляющие конструкции. Дано обоснование предложенной модели, названной OP-model, на основе проведения соответствия с логической ER моделью данных. Доказано, что любая ER модель данных может быть реализована в OP-model. В то же время указаны преимущества OP-model, связанные с возможностью изменения связей между сущностями за счет изменения ссылочных значений на определенный момент времени, отмечены потенциальные возможности по масштабируемости хранилища данных за счет уникальной идентификации каждого объекта.

This article presents the analysis of approaches to data warehouse construction based on relational and NoSQL solutions and lists the limitations of the relational approach to data mining. The contradiction between data presentation in the real subject domain and the model of data presentation in the relational and NoSQL approaches is revealed. The revealed contradiction is related to the temporality of the values of individual data attributes, the variability of the composition of these attributes, and structure of connections between them. A new logical model of the data warehouse with dynamic structure is proposed. The model is based on the concept of the object as a container for properties storage. Each property of the object includes the property name and two property values without reference and with reference, that are relevant at a given time. The reference property value points to an object whose name is interpreted as the value of the property at a given time. A formal description of the model with allocation of the necessary functionality to manipulate objects and their properties (selectors, predicates, constructors) is given and the necessary control structures are introduced. Substantiation of the proposed model, called an OP-model is given on the basis of compliance with the logical ER data model. It is proved that any ER data model can be implemented in the OP-model. At the same time, the advantages of the OP-model are indicated, they are associated with the possibility of changing connections between entities due to changes in the reference value at a particular time. The potential for scalability of data warehouse due to the unique identification of each object is noted. 

NoSQLBig DataER модельбазы данныхСУБДNoSQLBig DataER modelDatabasesDBMSReferencesБарсегян А. А., Технологии анализа данных: Data Mining, Visual Mining, Text Mining, OLAP, БХВ-Петербург, СПб, 2007; [Barsegjan A. A., Tehnologii analiza dannyh: Data Mining, Visual Mining, Text Mining, OLAP, BHV-Peterburg, SPb, 2007, 384 pp., (in Russian).]Барсегян А. А., Технологии анализа данных: Data Mining, Visual Mining, Text Mining, OLAP, БХВ-Петербург, СПб, 2007; [Barsegjan A. A., Tehnologii analiza dannyh: Data Mining, Visual Mining, Text Mining, OLAP, BHV-Peterburg, SPb, 2007, 384 pp., (in Russian).]Дейт К.Дж., Введение в системы баз данных, Вильямс, М., 2001, 1072 с.; [Dejt K.Dzh., Vvedenie v sistemy baz dannyh, Viljams, M., 2001, (in Russian).]Дейт К.Дж., Введение в системы баз данных, Вильямс, М., 2001, 1072 с.; [Dejt K.Dzh., Vvedenie v sistemy baz dannyh, Viljams, M., 2001, (in Russian).]Мартин Дж., Организация баз данных в вычислительных системах, Мир, М., 1980, 665 с.; [Martin J., Computer data-base organization, IBM Systems Research Institute, New Jersey, 1977, 665 pp., (in Russian).]Мартин Дж., Организация баз данных в вычислительных системах, Мир, М., 1980, 665 с.; [Martin J., Computer data-base organization, IBM Systems Research Institute, New Jersey, 1977, 665 pp., (in Russian).]Коннолли Т., Базы данных: проектирование, реализация и сопровождение: Теория и практика, Вильямc, М., 2003, 1440 с.; [Konnolli T., Bazy dannyh: proektirovanie, realizacija i soprovozhdenie: Teorija i praktika, Viljams, M., 2003, 1440 pp., (in Russian).]Коннолли Т., Базы данных: проектирование, реализация и сопровождение: Теория и практика, Вильямc, М., 2003, 1440 с.; [Konnolli T., Bazy dannyh: proektirovanie, realizacija i soprovozhdenie: Teorija i praktika, Viljams, M., 2003, 1440 pp., (in Russian).]List Of NoSQL Databases, http://nosql-database.org/.List Of NoSQL Databases, http://nosql-database.org/.Marcos Kawazoe Aguilera, Carole Delporte-Gallet, Hugues Fauconnier, and Sam Toueg, “Communication-efficient leader election and consensus with limited link synchrony”, The Proceedings of the International Symposium on Principles of Distributed Computing (PODC), 2004, 328–337.Marcos Kawazoe Aguilera, Carole Delporte-Gallet, Hugues Fauconnier, and Sam Toueg, “Communication-efficient leader election and consensus with limited link synchrony”, The Proceedings of the International Symposium on Principles of Distributed Computing (PODC), 2004, 328–337.Herlihy M. Shavit N., “The topological structure of asynchronous computability”, Journal of the ACM, 46:6 (1999), 858–923.Herlihy M. Shavit N., “The topological structure of asynchronous computability”, Journal of the ACM, 46:6 (1999), 858–923.Haifeng Y. Amin V., “The costs and limits of availability for replicated services”, ACM Transactions on Computer Systems, 24:1 (2006), 70–113.Haifeng Y. Amin V., “The costs and limits of availability for replicated services”, ACM Transactions on Computer Systems, 24:1 (2006), 70–113.Brian F. Cooper, Raghu Ramakrishnan, Utkarsh Srivastava, Adam Silberstein, Philip Bohannon, Hans-Arno Jacobsen, Nick Puz, Daniel Weaver, Ramana Yerneni, “Pnuts: Yahoo!’s hosted data serving platform”, PVLDB, 1:2 (2008), 1277–1288.Brian F. Cooper, Raghu Ramakrishnan, Utkarsh Srivastava, Adam Silberstein, Philip Bohannon, Hans-Arno Jacobsen, Nick Puz, Daniel Weaver, Ramana Yerneni, “Pnuts: Yahoo!’s hosted data serving platform”, PVLDB, 1:2 (2008), 1277–1288.Swati Ahirrao Rajesh Ingle, “Scalable transactions in cloud data stores”, Journal of Cloud Computing: Advances, Systems and Applications, 4:21 (2015), 1–14.Swati Ahirrao Rajesh Ingle, “Scalable transactions in cloud data stores”, Journal of Cloud Computing: Advances, Systems and Applications, 4:21 (2015), 1–14.In-memory data structure store Redis, http://redis.io/.In-memory data structure store Redis, http://redis.io/.MongoDB Professional with Cloud Manager, https://www.mongodb.org/.MongoDB Professional with Cloud Manager, https://www.mongodb.org/.A Database for the Web CouchDB, http://couchdb.apache.org/.A Database for the Web CouchDB, http://couchdb.apache.org/.Писаренко Д.С., Рублев В.С., “Объектная СУБД Динамическая информационная модель DIM и ее основные концепции”, Моделирование и анализ информационных систем, 16:1 (2009), 62–91; [Pisarenko D.S., Rublev V.S., “Object DBMS DIM and its main concepts”, Modeling and Analysis of Information Systems, 16:1 (2009), 62–91, (in Russian).]Писаренко Д.С., Рублев В.С., “Объектная СУБД Динамическая информационная модель DIM и ее основные концепции”, Моделирование и анализ информационных систем, 16:1 (2009), 62–91; [Pisarenko D.S., Rublev V.S., “Object DBMS DIM and its main concepts”, Modeling and Analysis of Information Systems, 16:1 (2009), 62–91, (in Russian).]Рублев В.С., “Язык объектных запросов динамической информационной модели DIM”, Моделирование и анализ информационных систем, 17:3 (2010), 144–161; [Rublev V.S., “The object query language of the dynamic information model DIM”, Modeling and Analysis of Information Systems, 17:3 (2010), 144–161, (in Russian).]Рублев В.С., “Язык объектных запросов динамической информационной модели DIM”, Моделирование и анализ информационных систем, 17:3 (2010), 144–161; [Rublev V.S., “The object query language of the dynamic information model DIM”, Modeling and Analysis of Information Systems, 17:3 (2010), 144–161, (in Russian).]Рублев В.С., “Отношение истории и динамика схем баз данных СУБД DIM”, Моделирование и анализ информационных систем, 19:2 (2012), 97–108; [Roublev V.S., “Evolution of DBMS DIM Database Schemes”, Modeling and Analysis of Information Systems, 19:2 (2012), 97–108, (in Russian).]Рублев В.С., “Отношение истории и динамика схем баз данных СУБД DIM”, Моделирование и анализ информационных систем, 19:2 (2012), 97–108; [Roublev V.S., “Evolution of DBMS DIM Database Schemes”, Modeling and Analysis of Information Systems, 19:2 (2012), 97–108, (in Russian).]Антонов Д.В., Рублев В.С., “Эффективность доступа к данным в СУБД DIM”, Моделирование и анализ информационных систем, 22:2 (2015), 158–175; [Antonov D.V., Roublev V.S., “Access Efficiency to Data in DIM DBMS”, Modeling and Analysis of Information Systems, 22:2 (2015), 158–175, (in Russian).]Антонов Д.В., Рублев В.С., “Эффективность доступа к данным в СУБД DIM”, Моделирование и анализ информационных систем, 22:2 (2015), 158–175; [Antonov D.V., Roublev V.S., “Access Efficiency to Data in DIM DBMS”, Modeling and Analysis of Information Systems, 22:2 (2015), 158–175, (in Russian).]Петров А.Н., Рублев В.С., “Полнота динамики значений свойств данных в СУБД DIM”, Моделирование и анализ информационных систем, 22:2 (2015), 259–277. [Petrov A.N., Roublev V.S., “Completeness of the Dynamics of the Attributes Values of Data in the Database DIM”, Modeling and Analysis of Information Systems, 22:2 (2015), 259–277, (in Russian)].Петров А.Н., Рублев В.С., “Полнота динамики значений свойств данных в СУБД DIM”, Моделирование и анализ информационных систем, 22:2 (2015), 259–277. [Petrov A.N., Roublev V.S., “Completeness of the Dynamics of the Attributes Values of Data in the Database DIM”, Modeling and Analysis of Information Systems, 22:2 (2015), 259–277, (in Russian)].Roublev V.S., “Static completeness of the dynamic information model”, Automatic control and computer sciences, 49:3 (2015), 167–176.Roublev V.S., “Static completeness of the dynamic information model”, Automatic control and computer sciences, 49:3 (2015), 167–176.A Comprehensive Data Integration and Business Analytics Platform, http://www.pentaho.com/.A Comprehensive Data Integration and Business Analytics Platform, http://www.pentaho.com/.Data Mining Software in Java, http://www.cs.waikato.ac.nz/ml/weka/.Data Mining Software in Java, http://www.cs.waikato.ac.nz/ml/weka/.Doug H., Let Over Lambda, 2010, 384 pp.Doug H., Let Over Lambda, 2010, 384 pp.Alexandros B., “An Efficient Database Storage Structure for Large Dynamic Objects”, Proceedings, IEEE Data Engineering Conference, Phoenix, Arizona, 1992, 301–308.Alexandros B., “An Efficient Database Storage Structure for Large Dynamic Objects”, Proceedings, IEEE Data Engineering Conference, Phoenix, Arizona, 1992, 301–308.Полтавцев А.А., “Динамические структуры в реляционных базах данных”, Программные продукты и системы, 2:110 (2015), 95–97; [Poltavtsev A.A., “Dynamic structures in relation databases”, Software & Systems, 2:110 (2015), 95–97, (in Russian).]Полтавцев А.А., “Динамические структуры в реляционных базах данных”, Программные продукты и системы, 2:110 (2015), 95–97; [Poltavtsev A.A., “Dynamic structures in relation databases”, Software & Systems, 2:110 (2015), 95–97, (in Russian).]Цикритзис Д., Лоховски Ф., Модели данных, Финансы и статистика, М., 1985, 168 с.; [Tsikritzis D., Lokhovski F., Modeli dannykh, Finansy i statistika, M., 1985, 168 pp., (in Russian).]Цикритзис Д., Лоховски Ф., Модели данных, Финансы и статистика, М., 1985, 168 с.; [Tsikritzis D., Lokhovski F., Modeli dannykh, Finansy i statistika, M., 1985, 168 pp., (in Russian).]Калиниченко Л.А., Методы и средства интеграции неоднородных баз данных, Наука, М., 1983, 424 с.; [Kalinichenko L.A., Metody i sredstva integratsii neodnorodnykh baz dannykh, Nauka, M., 1983, 424 pp., (in Russian).]Калиниченко Л.А., Методы и средства интеграции неоднородных баз данных, Наука, М., 1983, 424 с.; [Kalinichenko L.A., Metody i sredstva integratsii neodnorodnykh baz dannykh, Nauka, M., 1983, 424 pp., (in Russian).]

The authors declare that there are no conflicts of interest present.