Integrated data storage system for geological laboratory experiments

Н.Р. Тишин,О.Р. Озмидов,А.В. Пролетарский
DOI: https://doi.org/10.26102/2310-6018/2024.44.1.007
2024-01-18
Abstract:В статье рассматривается разработка нового подхода к хранению и организации результатов лабораторных опытов с учетом специфики их последующей обработки. Для решения поставленной задачи лабораторные опыты рассматриваются как структурированные данные с неструктурированными частями. При разработке системы была проанализирована специфика хранения и обработки данных лабораторных испытаний, после чего сформулированы основные требования к системе. Были определены основные модели данных, а также сущности базы. Для хранения структурированных данных выбрана стандартная реляционная модель данных, а хранение неструктурированной информации (такой как результаты опыта или параметры опыта) реализовано через поле BJSON. Для решения задачи обеспечения защищенного доступа, а также создания API для системы был выбран асинхронный фреймворк FastAPI. Также рассмотрена реализация хранения дополнительных файлов опыта, которые находятся в объектном хранилище и связываются с опытом в реляционной модели через дополнительную сущность. Представленный подход отличается своей гибкостью к структуре хранимых лабораторных опытов, учитывает специфику геологических лабораторных испытаний, а также предоставляет возможности для комплексного метаанализа больших объемов данных. Система была протестирована и внедрена в технологический процесс геотехнической лаборатории АО «МОСТДОРГЕОТРЕСТ». The article examines the development of a new approach to storing and organizing the results of laboratory experiments with consideration to the features of their subsequent processing. To solve this problem, laboratory experiments are considered as structured data with unstructured parts. During the development of the system, the features of storing and processing laboratory test data were analyzed, after which the basic requirements for the system were formulated. The main data models were defined as well as the database entities. A standard relational data model has been chosen for storing structured data, and the storage of unstructured information such as experiment results or experiment parameters is implemented through the BJSON field. To solve the problem of providing secure access and creating an API for the system, the asynchronous FastAPI framework was chosen. The implementation of storing additional experiment files, which are located in the object storage and are associated with the experiment in the relational model through an additional entity, is also considered. The presented approach is notable for its flexibility to the structure of stored laboratory experiments, takes into account the features of geological laboratory experiments and also provides opportunities for complex meta-analysis of large volume of data. The system was tested and implemented into the technological process of the geotechnical laboratory at JSC MOSTDORGEOTREST.
What problem does this paper attempt to address?