Использование служб Integration Services со службами Analysis Services

Элементы потока данных

Службы SSIS предоставляют три различных типа компонентов потока данных: источники, преобразования и целевые объекты. Источники извлекают данные из хранилищ, таких как таблицы и представления реляционных баз данных, файлы и базы данных служб SSAS. Преобразования изменяют, объединяют и очищают данные. Целевые объекты загружают данные в хранилища или создают наборы данных в памяти.

Кроме того, службы SSIS предоставляют пути, соединяющие выход одного компонента с входом другого. Пути определяют последовательность компонентов и дают возможность добавлять заметки к потоку данных или просматривать источник столбца.

На рисунок 15.3 ) приведен пример потока данных с источником, преобразованием с одним входом и одним выходом и целевым объектом. На диаграмме присутствуют входы, выходы, выходы ошибок, а также входные, выходные и внешние столбцы.

Рис. 15.3. Пример потока данных

Источники

В службах SSIS источником называется компонент потока данных, который делает данные из внешнего источника данных доступными для других компонентов потока данных.

У источника потока данных обычно есть один стандартный выход. В стандартном выходе содержатся выходные столбцы, которые источник добавляет к потоку данных. Стандартный выход ссылается на внешние столбцы. Внешним называется столбец в источнике. Метаданные внешних столбцов хранят информацию об имени исходного столбца, типе и длине хранящихся в нем данных.

Выход ошибок источника хранит те же столбцы, что и стандартный выход, а также два дополнительных столбца, предоставляющих информацию об ошибках. Объектная модель служб SSIS не ограничивает число стандартных выходов и выходов ошибок, которые могут быть связаны с источником. У большей части включенных в службы SSIS источников, за исключением компонента сценария, имеется один стандартный выход, а у многих также есть один выход ошибок. Пользовательские источники могут быть спроектированы так, чтобы содержать несколько стандартных выходов и выходов ошибок.

Все выходные столбцы доступны в качестве входных столбцов для следующего компонента потока данных.

Преобразования

Возможности преобразований очень разнообразны. Преобразования могут выполнять такие задачи, как обновление, очистка, слияние и распространение данных и сбор статистики о них.

Входы и выходы преобразований определяют столбцы входных и выходных данных. В зависимости от выполняемых операций над данными у одних преобразований может быть один вход и несколько выходов, а у других - несколько входов и один выход. У преобразований также могут быть выходы ошибок, которые предоставляют информацию о произошедших ошибках, и сами данные, вызвавшие ошибку: например, строковые данные, которые не могут быть преобразованы в целое число. Объектная модель служб SSIS не ограничивает число входов, стандартных выходов и выходов ошибок, которые могут быть связаны с преобразованием. Пользовательские преобразования могут реализовывать любое сочетание входов, стандартных выходов и выходов ошибок.

Вход преобразования определяется как один или более входных столбцов. Некоторые преобразования служб SSIS также могут ссылаться на внешние входные столбцы. Например, вход преобразования "Команда OLE DB" включает в себя внешние столбцы. Выходным называется столбец, который добавляется преобразованием в поток данных. И стандартные выходы, и выходы ошибок содержат выходные столбцы. Эти выходные столбцы, в свою очередь, служат входными столбцами для следующего компонента потока данных: или другого преобразования, или целевого объекта.

Целевые объекты (назначения)

Целевым объектом (назначением) называется компонент потока данных, который записывает данные из потока в указанное хранилище или создает набор данных в памяти.

У целевого объекта служб SSIS должен быть, по крайней мере, один вход. Вход содержит входные столбцы, которые предоставляются другим компонентом потока данных. Входные столбцы сопоставляются со столбцами целевого объекта.

У многих целевых объектов есть также один выход ошибок. Выход ошибок назначения содержит выходные столбцы, которые обычно хранят информацию об ошибках, произошедших во время записи в целевое хранилище данных. Ошибки могут происходить по разным причинам. Например, столбец может содержать значение NULL, а целевой столбец этого не допускает.

Объектная модель служб SSIS не ограничивает число стандартных входов и выходов ошибок, которые могут быть связаны с целевым объектом, пользовательские назначения могут реализовывать комбинации из нескольких стандартных входов и выходов ошибок.

Внешние метаданные

При создании потока данных в пакете с помощью конструктора служб SSIS, метаданные из источников и целевых объектов копируются во внешние столбцы источников и целевых объектов и играют роль моментального снимка схемы. Когда службы SSIS проверяют правильность пакета, конструктор служб SSIS сравнивает этот снимок со схемой источника или целевого объекта и в зависимости от изменений сообщает об ошибках и предупреждениях.

Проект служб SSIS поддерживает работу в автономном режиме. При работе в автономном режиме соединения с используемыми пакетом источниками и целевыми объектами не устанавливаются, а метаданные внешних столбцов не обновляются.

Входы и выходы

У источников есть выходы, у целевых объектов - входы, а у преобразований есть и входы, и выходы. Кроме того, многие компоненты потока данных могут быть настроены для использования выхода ошибок.

Вход содержит один или более входных столбцов, которые могут ссылаться на внешние столбцы, если компонент потока данных настроен так, чтобы использовать их. Входы могут быть настроены для контроля над потоком данных и управления им: например, можно определить, что компонент должен прервать нормальный ход работы в ответ на ошибку, или пропускать ошибки, или перенаправлять строки, содержащие ошибки, на вывод ошибок. Можно также задавать описание входа или обновлять имя входа.

Выход содержит один или более выходных столбцов, которые могут ссылаться на внешние столбцы, если компонент потока данных настроен так, чтобы использовать их. Выходы могут предоставлять информацию, полезную при последующей обработке данных. Например, можно указать, что данные на выходе отсортированы. Можно также задавать описание выхода или обновлять имя выхода.

Можно определить, как компонент потока данных будет реагировать на ошибки в каждом входном и выходном столбце. Если во время выполнения произошла ошибка или усечение данных, а компонент потока данных настроен так, чтобы перенаправлять строки, строки данных, содержащие ошибки, будут отправлены на выход ошибок. По умолчанию вывод ошибок содержит выходные столбцы и два столбца с данными об ошибках: ErrorCode и ErrorColumn. Выходные столбцы содержат данные из строки с ошибкой, ErrorCode хранит код ошибки, а ErrorColumn определяет столбец, в котором произошла ошибка.

Пути

Пути соединяют компоненты потока данных. В конструкторе SSIS можно просматривать и изменять свойства путей, просматривать выходные метаданные для начальной точки пути и связывать с путем средства просмотра данных.

Настройка компонентов потока данных

Компоненты потока данных могут настраиваться на уровне компонента в целом; на уровне входа, выхода и выхода ошибок, а также на уровне столбцов:

1. на уровне компонента определяются общие для всех компонентов свойства, а также свойства, характерные для конкретного компонента;
2. на уровне входа, выхода и выхода ошибок определяются общие свойства входов, выходов и выходов ошибок компонента. Если компонент поддерживает работу с несколькими выходами, то их можно добавить;
3. на уровне столбцов в дополнение к общим для всех столбцов свойствам задаются характерные свойства, предоставляемые компонентом для столбцов. Если компонент поддерживает добавление выходных столбцов, то их можно добавить к выходам;

Свойства задаются посредством конструктора служб SSIS или программно.