Горчинская Ольга Юрьевна Oracle, Москва



Скачать 111.65 Kb.
Дата27.10.2012
Размер111.65 Kb.
ТипДокументы

Секция “Стандарты в средствах интеграции приложений”

Стандарт OMG CWM для обмена метаданными в хранилищах данных и его практическое применение

Горчинская Ольга Юрьевна

Oracle, Москва,

Olga.Gorchinskaya@oracle.com,

Наумов Евгений Владимирович

ЛАНИТ, Москва


Naumov@lanit.ru


Common Warehouse Metamodel (CWM) – это стандарт, разработанный консорциумом OMG для обмена метаданными между различными программными продуктами и репозиториями, участвующими в создании корпоративных информационно-аналитических систем.
Он основан на открытых объектно-ориентированных технологиях и стандартах, используя UML в качестве языка моделирования, XMI и XML - для обмена метаданными и язык программирования JAVA - для реализации моделей и спецификаций.

В докладе рассматриваются основные цели и история создания OMG CWM, описываются его структура и основные компоненты, обсуждаются особенности поддержки этого стандарта продуктами корпорации Oracle и рассказывается об опыте практического использования CWM в проекте по созданию корпоративной информационно-аналитической системы.

Причины и история создания


Центральное место в технологии хранилищ данных и аналитических систем занимают вопросы управления метаданными, среди которых одной из наиболее сложных является проблема обмена данными между различными базами данных, репозиториями и продуктами. Прежде всего это связано с тем, что в любой информационно-аналитической системе одновременно участвуют много различных продуктов: разнообразные базы данных, играющие роль информационных источников, хранилища и витрин, средства сбора данных, их согласования, преобразования и загрузки в целевые базы данных (ETL-средства), а также аналитические средства, поддерживающие различные технологии анализа, включая отчеты, нерегламентированные запросы, многомерный анализ (OLAP), извлечение знаний (data mining). Каждый из этих компонентов имеет свои метаданные, хранящиеся в соответствующем репозитории или словаре данных в специальных форматах. Проблема состоит в том, что все эти разнородные по структуре и синтаксису метаданные семантически взаимосвязаны и для согласованной и корректной работы системы в целом их необходимо передавать от одних средств другим, совместно использовать, устранять несоответствия и противоречия и т. д. Для решения этой проблемы необходимы общие и достаточно универсальные стандарты для представления всевозможных метаданных, используемых в области хранилищ данных и аналитических систем.

Проект по выработке таких стандартов был организован консорциумом Object Management Group (OMG). Эта организация занимается разработкой стандартов на основе объектно-ориентированных подходов, и в ее деятельности участвуют более 500 различных компаний. Именно ею был разработан и принят стандарт CORBA, оказавший существенное влияние на технологию распределенных вычислений и развитие компонентного подхода. Начиная с 1995 года группа OMG активно работает в области моделирования и метаданных. В 1997-м ею приняты и опубликованы стандарты UML (Unified Modeling Language), и MOF (Meta Object Facility), в 1999-м - XMI (XML Metadata Interchange) и OMG становится ведущей организацией по стандартизации моделирования и управления метаданными. В 1998 году OMG начинает проект по созданию нового стандарта для обмена метаданными в хранилищах данных. В рабочую группу вошли представители нескольких компаний, ведущую роль среди которых играли специалисты из IBM, Oracle, Unisys, NCR, Hyperion. В это время подобная деятельность уже велась в рамках конкурирующей организации Meta Data Coalition (MDC), которая предложила свой стандарт Open Information Model (OIM). Окончательные спецификации для CWM были представлены рабочей группой в январе и приняты OMG в июле 2000 года, после чего в сентябре MDC объявила о прекращении независимой деятельности и слиянии с OMG для продолжения работ по усовершенствованию CWM и интеграции в него некоторых элементов OIM. В результате в настоящее время существует единый официально признанный стандарт CWM 1.0.

Структура и состав CWM


В основе CWM лежит модельно-ориентированный подход к обмену метаданными, в соответствии с которым объектные модели, представляющие специфические для конкретного продукта метаданные, строятся в соответствии с синтаксическими и семантическими спецификациями некоторой общей метамодели. Это означает наличие общей системы фундаментальных понятий данной области, с помощью которых любой продукт должен “понимать” широкий спектр моделей, описывающих конкретные экземпляры метаданных.

CWM имеет модульную структуру, что позволяет минимизировать зависимости между различными компонентами, уменьшить сложность и повысить наглядность модели. Под модулем в данном случае понимается отдельная метамодель (или средство моделирования), предназначенная для представления определенного типа метаданных хранилища. Например, для представления метаданных процессов преобразований и загрузки используется метамодель “Преобразование”, для спецификации особенностей многомерного анализа – метамодель “OLAP” и т.д. Каждая метамодель реализована в виде пакета, содержащего набор определенных на UML базовых классов.

Все метамодели структурированы и распределены по четырем слоям (рис. 1).

Самый нижний слой, "Основа" (Foundation), состоит из метамоделей, которые поддерживают спецификацию базовых структурных элементов, таких как выражения, типы данных, типы отображений и др. Все они совместно используются пакетами верхних уровней. Второй слой, “Ресурс” (Resource), содержит метамодели, используемые для спецификации информационных источников и целевых баз данных. Третий слой называется “Анализ” (Analysis) и содержит средства моделирования процессов или служб информационного анализа, включая визуализацию и распространение данных, многомерный анализ, извлечение знаний (data mining) и др. И наконец, четвертый слой, “Управление” (Management), состоит из метамоделей, относящихся к особенностям функционирования хранилища. Эти средства позволяют моделировать процедуры по управлению хранилищем, устанавливать регламент их выполнения, специфицировать процессы контроля и протоколирования для загрузки информации и произведенных корректировок данных хранилища.

Анализ (Analysis)

Ресурс (Resource)

Record

Software

Deployment

Expression


Business

Information

Data

Types

Keys

Index

Type

Mapping

Object


(UML)

Relational

Multi


Dimensional

Transformation

Data


Mining

Information

Visualization

Business

Nomenclature


Основа (Foundation)

Управление (Management)
Warehouse

Process

Warehouse

Operation

OLAP



XML




Рис. 1. Структура и состав CWM


Модель CWM основана на использовании существующих объектных технологий. В качестве стандартного языка определения структуры и семантики метаданных используется UML, а стандартным механизмом обмена для совместного использования

метамоделей и моделей служит XMI. При этом в CWM максимально используются существующие классы UML, и только в особых случаях определяются специфические их расширения.

Поддержка CWM инструментальной средой Oracle Warehouse Builder


После принятия и опубликования OMG CWM 1.0 многие компании объявили о своей готовности поддерживать этот стандарт в своих продуктах. Прежде всего эта деятельность началась в тех организациях, которые участвовали в рабочей группе OMG по разработке CWM. В частности, это относится и к корпорации Oracle, которая одной из первых стала поддерживать OMG CWM в интегрированной CASE-среде Oracle Warehouse Buillder, ориентированной на разработку и развертывание хранилищ и витрин данных и создание информационно-аналитических систем. Средствами этого продукта можно проектировать, создавать и администрировать хранилища и витрины данных, разрабатывать и генерировать процедуры извлечения, преобразования и загрузки данных из различных источников, управлять метаданными. В основе репозитория Oracle Warehouse Builder лежит архитектура Common Warehouse Model, совместимая с CWM консорциума OMG и, по существу, являющаяся его вариантом. Кроме этого, в состав продукта входят процедуры экспорта и импорта содержимого репозитория в формате OMG CWM 1.0. Эти процедуры обеспечивают интеграцию Oracle Warehouse Builder с различными аналитическими инструментальными средствами как Oracle, так и других фирм. В настоящее время Oracle Warehouse Builder осуществляет экспорт и импорт метаданных в формате CWM 1.0 с некоторыми ограничениями, которые будут устранены в ближайших новых версиях этого продукта.

Практическое использование


Стандарт CWM использовался в проекте по созданию макета информационно-аналитической системы (ИАС) Банка России. Цель проекта – разработка и внедрение территориально распределенной структуры средств и систем сбора, хранения и аналитической обработки банковской информации. Необходимость использования единого стандарта обмена метаданными при автоматизации бизнес-процессов подобных объектов обусловлена:

  • требованиями централизованного управления метаданными, которое должно обеспечить поддержку во всех узлах распределенной системы методологически и технологически сопоставимых информационно-аналитических (ИА) ресурсов;

  • потенциальной неоднородностью реализации узлов распределенной системы. Как правило, предполагается использование средств различных производителей ПО в зависимости от уровня территориальных учреждений (крупные, средние, небольшие);

  • наличием разнообразных ИА-приложений от разных производителей.

Архитектура и основные компоненты макета ИАС включали: центральный репозиторий ИАС (Oracle Designer 6.0), корпоративное хранилище данных (Oracle Warehouse Builder 3i), макет подсистемы сбора данных и Каталога показателей, ИА-приложения на базе ПК “Прогноз” (ЗАО “Стерлинг Груп Прогноз”) и средств Business Objects (компании S&T и ТЕРН).

Спецификация CWM позволяет представлять каждый из пакетов (package) модели либо в виде определения XML DTD-файла, либо в виде IDL-интерфейса. В проекте использовался первый подход, на основе которого осуществлялся обмен метаданными между репозиториями компонентов макета ИАС. При экспорте метаданных XML файл обмена формировался в соответствии с определениями DTD, а при импорте, в свою очередь, проверялся на соответствие тому же самому DTD.

Основная проблема заключалась в том, что только один компонент, а именно OWB 3i, имел стандартный OMG-CWM мост экспорта-импорта метаданных, а для остальных компонентов (OR6.0, Каталог показателей, ПК “Прогноз”, Business Objects) пришлось разработать собственные средства экспорта/импорта метаданных. Для этого было необходимо:

  • разработать отображения метаданных стандарта CWM на соответствующие объекты конкретного репозитория (в соответствии с семантикой DTD);

  • обеспечить доступ на чтение/запись метаданных в конкретный репозиторий.

В макете реализация экспорта/импорта метаданных была выполнена на основе специальных программ (интеграционных утилит), осуществляющих сбор/разбор XML CWM-файла и чтение/запись метаданных в репозиторий с использованием средств API, предоставляемых конкретным продуктом.

На основе анализа представления метаданных в пакетах Business Objects и ПК “Прогноз” был сформирован состав передаваемых метаданных, форма их передачи, а также согласован общий порядок действий при передаче и приеме метаданных, передаваемых в Business Objects и ПК “Прогноз”.

Состав метаданных, передаваемых в ИА-приложения, включал как технические метаданные -- описание всех таблиц ХД и связей между ними (передавались через мост OMG-CWM OWB3i), так и бизнес-метаданные - содержимое (значение полей) таблиц справочников “Показатели” и “Формы отчетности” (передавались через специально формируемый XML-файл в соответствии со стандартом CWM).

Заключение


Создание информационно-аналитических систем, основанных на технологиях хранилищ данных, невозможно без применения стандарта подобного CWM. В качестве альтернативы пришлось бы разрабатывать собственные элементы стандарта, реализуемые в виде уникальных программных шлюзов для каждой пары интегрируемых систем. Использование CWM позволяет решать проблему обмена метаданными даже между продуктами, не поддерживающими в явном виде этого стандарта. В этом случае при наличии программного интерфейса к репозиториям можно разработать собственные процедуры экспорта и импорта данных, основанные на современных и проверенных стандартах.


- -

Похожие:

Горчинская Ольга Юрьевна Oracle, Москва iconПрактический семинар «Русский музей: виртуальный филиал»
Кураторы семинара: Бабина Ольга Анатольевна, Доронина Татьяна Валерьевна, Гладких Мария Юрьевна, Щурова Ольга Алексеевна, Близнец...
Горчинская Ольга Юрьевна Oracle, Москва iconБерезина Ольга Юрьевна

Горчинская Ольга Юрьевна Oracle, Москва iconАсаянова Ольга Юрьевна Балакирева Татьяна Вячеславовна

Горчинская Ольга Юрьевна Oracle, Москва iconПрограмма Партнерства Oracle. Кто может стать партнером Oracle ?
На сегодняшний день партнерами Oracle в России являются более 150 компаний из всех регионов страны. Мы не ставим высоких барьеров...
Горчинская Ольга Юрьевна Oracle, Москва iconНовые возможности Oracle TimesTen 11g – интеграция с
Целью данной статьи является создание 2-х узловой Active Standby pair репликации Oracle TimesTen из виртуальных машин на базе Oracle...
Горчинская Ольга Юрьевна Oracle, Москва iconПредмет: физика преподаватель: Федосова Ольга Юрьевна
Выполнить контурную карту "История России. 7 класс". на ст
Горчинская Ольга Юрьевна Oracle, Москва iconCurriculum vitae бессмертная Ольга Юрьевна
Института восточных культур Российского Государственного Гуманитарного Университета
Горчинская Ольга Юрьевна Oracle, Москва iconНе забудьте поздравить коллег!!! Январь
Чернояров Андрей Александрович 27. 11. 1968г. Горохова Ольга Юрьевна 29. 11. 1956г
Горчинская Ольга Юрьевна Oracle, Москва iconРуководство Oracle Июль 2007 г. Архитектура Oracle Database 11 g для Windows
В 1993 г компания Oracle первой выпустила реляционную базу данных для Windows nt. Компания Oracle внесла специальные изменения в...
Горчинская Ольга Юрьевна Oracle, Москва iconOracle 3 Установка и настройка 3
Установка системы на Oracle возможно для Oracle 8i Enterprise Edition или для Oracle 9i Enterprise Edition
Разместите кнопку на своём сайте:
ru.convdocs.org


База данных защищена авторским правом ©ru.convdocs.org 2016
обратиться к администрации
ru.convdocs.org