.. _data_management_import_data:

================================================================
Загрузка данных
================================================================

Импортируйте данные из внешних систем и преобразуйте их в записи платформы DBVIM.

Импорт данных в платформу DBVIM реализован при помощи процесса *Извлечение, Преобразование, Загрузка* (Extract, Transform, Load -- ETL).

.. figure:: ../../image/etl.png


**Терминология**

==================================  ==================================
Термин                              Описание
==================================  ==================================
Источник данных                     Запись, определяющая, где взять данные для импорта. Источник данных может указывать на файл или JDBC-совместимую базу данных
Набор импорта                       Промежуточное расположение для записей, импортированных из источника данных, перед преобразованием данных. Свойства в этих объектах создаются автоматически на основе импортированных данных и не должны редактироваться вручную.
Трансформация                       Преобразование данных из набора импорта в заданный объект в соответствии с правилами, определенными в Карта трансформирования.
Карта трансформирования             Определяет связи между свойством объекта *набора импорта* и целевого объекта. Во время трансформации данные копируются основываясь на карте трансформации. Одно свойство объекта *набор импорта* может быть сопоставлено с несколькими свойствами в других объектах.
==================================  ==================================

.. Идентификационный                Позволяет обновлять существующие записи целевого объекта при трансформации импортируемых дынных. Если найдена существующая запись с совпадающим значением в целевом объекте -- эта запись обновляется. Если соответствующая запись не найдена, в целевом объекте создается новая запись.

**Поддерживаемые форматы**

Вы можете импортировать данные из различных форматов файлов или внешних источников данных.

==================================  ==================================  ==================================
Тип                                 Источник данных                     Ограничения
==================================  ==================================  ==================================
файл                                CSV                                 Файлы CSV должны соответствовать предложенному стандарту CSV в RFC4180. В частности, это означает, что двойные кавычки не могут появляться внутри полей.
файл                                Excel                               Файлы Excel должны иметь расширение XLS
Внешний источник                    JDBC                                Для импорта JDBC требуется рабочая карта трансформирования.
==================================  ==================================  ==================================

.. Более подробную информацию о различных источниках данных смотри в :ref:`data_management_datasources`

:ref:`data_management_datasources`

Для загрузки данных, необходимо описать их источник.


:ref:`data_management_import_sets`

Промежуточное расположение для записей, импортированных из источника данных, перед преобразованием данных.

:ref:`data_management_transform_map`



.. 
    **Очистка набора импорта**

    Задача планировщика заданий очищает старые данные набора импорта каждый день в полночь.


.. toctree::
    :hidden:

    ../concept/datasources.rst
    ../concept/import_sets.rst
    ../concept/transform_maps.rst