Закрыть
Логин:
Пароль:
Забыли свой пароль?
Регистрация
Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:

DOCFLOW - теория и практика электронного документооборота. Все о ECM и СЭД (системы электронного документооборота), ЭП

Eng
17.07.2007
Oracle BI Suite EE — самая «всеядная» и «интеллектуальная» из аналитических платформ

Антон Шмаков, старший консультант отдела бизнес-анализа и хранилищ данных Консалтинговая группа «Борлас».

Публикуется по оригиналу на сайте компании «Борлас».

Еще совсем недавно аналитики Gartner включали платформу Siebel Analytics лишь в группу «Провидцы» своего «магического квадрата» — Magic Quadrant for Business Intelligence Platforms — отмечая технологические достоинства этой платформы, они не высоко оценили стратегию компании по ее продвижению. После покупки компании Siebel Systems корпорацией Oracle в прошлом году и решительных действий по ее развитию и продвижению, аналитики Gartner поменяли свое мнение. Попытаемся разобраться, насколько заслуженно Oracle Business Intelligence Suite Enterprise Edition (Oracle BI Suite ЕЕ) оказалась, по мнению Gartner, в числе лидеров, особенно если учесть, что большинство российских специалистов знает об этой платформе очень немного.

Платформы разные бывают

Способы доступа к источникам данных определяют архитектуру аналитических платформ. В соответствии с используемыми способами все аналитические платформы делятся на две группы.

Платформы первой группы ориентированы на работу с выделенными источниками данных — хранилищами и витринами данных, которые специально сформированы для аналитической обработки, что выражается и в особых структурах и моделях данных этих источников. В настоящее время наибольшее признание в качестве модели данных для анализа данных получила многомерная модель, которая может быть реализована и средствами реляционных СУБД, и средствами многомерных (OLAP) СУБД. Эффективность и удобство выполнения анализа при использовании последних значительно выше, чем при применении реляционных СУБД, поэтому OLAP-серверы является ядром аналитических платформ первой группы. К этой группе относятся аналитические платформы Microsoft, Hyperion Solutions, «старая» аналитическая платформа Oracle (теперь Oracle Business Intelligence Suite Standard Edition) и др.

Платформы второй группы, а это прежде всего платформы компаний Business Objects, Cognos, Microstrategy, разработаны для работы с более широким кругом источников, в который помимо хранилищ и витрин данных (реляционных и многомерных) входят «обычные» базы данных, создаваемые транзакционными (класса OLTP) системами, и, возможно, другие источники данных: XML-файлы, плоские файлы, файлы MS Excel … Можно сказать, что эти платформы в принципе «равноудалены» от различных источников данных.

В состав платформ второй группы не входят OLAP-серверы и другие средства непосредственного доступа к источникам данных, для доступа к данным в этих платформах используются в основном стандартные интерфейсы к соответствующим серверам: ODBC/JDBC для доступа к реляционным базам/хранилищам, MDX (MultiDimensional eXpressions — язык запросов для простого и эффективного доступа к многомерным структурам данных, наподобие языка SQL) для доступа к многомерным (OLAP)… Кроме того, в некоторых платформах используются и «родные» для конкретных источников интерфейсы. Например, интерфейс OCI (Oracle Call Interface) для доступа к базам данных Oracle, интерфейс XMLA (XML for Analysis — xml-стандарт) для доступа к многомерным хранилищам SAP BI/BW, интерфейсы к базам данных популярных пакетов…

Архитектура

Платформа Oracle BI Suite EE по способам доступа к данным и архитектуре относится ко второй группе. В архитектуре этой платформы центральное место занимает аналитический сервер — Oracle BI Server, через который реализуется весь доступ к разнообразным источникам данных.

Этот сервер называют аналитическим сервером приложений (business intelligence application server), так как он поддерживает интерфейсы к реляционным и многомерным (OLAP) базам (ODBC, OCI, MDX, CLI), а также к плоским файлам, XML-документам, таблицам MS Excel, базам данных наиболее популярных приложений SAP R/3 и mySAP, Oracle e-Business Suite, JD Edwards Enterprise One, Peoplesoft Enterprise, Oracle Siebel CRM и др., а также выполняет роль интегратора, которая традиционно была прерогативой промежуточной области (staging area) хранилища данных. Пожалуй, Oracle BI Suite EE — это самая «всеядная» (в части источников данных) аналитическая платформа.

Oracle BI Server также обладает всей необходимой серверной инфраструктурой, включая управление сессиями, запросами, отменами и блокировками, ведением журналов и мониторингом активности, балансировкой нагрузки на сервер и, самое главное, эффективной системой кеширования запросов пользователей и их результатов.

Основными архитектурными компонентами системы являются: Oracle BI Server, Oracle BI Web и Oracle Delivers Server.

Oracle BI Server централизованно хранит метаданные об источниках данных и бизнес-объектах (business definitions) в своем репозитории, доступном всем инструментам платформы Oracle BI EE.

Oracle BI Web предоставляет интерфейсы для всех компонент системы, используемых для визуализации данных. Он взаимодействует с Oracle BI Server и выполняет ряд важнейших функций: отвечает за авторизацию пользователей и персонализацию интерфейса для них, генерацию логических запросов к аналитическому серверу, хранение и администрирование метаданных (Web-каталог) для отчетов и интерактивных панелей, осуществляет дополнительную пост-обработку данных.

Oracle Delivers Server необходим для работы проактивной составляющей в платформе, позволяющей задавать модели для выявления проблем, фильтровать данные в соответствии с заданными правилами, уведомлять пользователей по множеству каналов, включая электронную почту и SMS, и давать возможность пользователям принимать решение в ответ на оповещение. Основные его функции это: создание и подписки на уведомления, автоматическое оповещение и планировщики, администрирование каналов и учетных записей доставки.

Для достижения высокой производительности и масштабируемости системы Oracle BI Server и Oracel BI Web можно объединять в кластеры. Поддерживается возможность балансировки нагрузки, позволяя распределять запросы и пользовательские сеансы на разные серверы.

В целом следует отметить, что принципы, заложенные в архитектуре Oracle BI EE, позволяют разработчику иметь единый взгляд и модель представления всей корпоративной информации, содержащейся в различных системах. В соответствии с этим, разработка всего BI-решения упрощается, а главное, снижаются издержки. Другой важной для разработчика стороной архитектуры является доступ к информации в режиме реального времени или через многоуровневую систему кеширования. Для администрирования и сопровождения системы важным является то, что она построена на единой инфраструктуре и обладает общими инструментарием администрирования.

Современная тенденция интеграции приложений с Internet-технологиями находит свою полную поддержку в Oracle BI Suite EE. Так, Oracle BI Web предлагает интерфейс на основе Web-сервисов. В целом вся платформа Oracle BI SuiteEE построена на SOA (Service Oriented Architecture) архитектуре.

Клиентские приложения

Если способы доступа к источникам данных определяют архитектуру аналитических платформ, то функциональность клиентских приложений и аналитических средств определяет функциональные возможности системы. Большинство аналитических платформ предлагают ограниченный набор приложений, обычно состоящий из средств построения аналитических запросов и отчетов и неких панелей или книг для объединения связанных отчетов и представления их конечному пользователю. Если же платформа и обладает полным спектром аналитических возможностей, то часто у каждого ее компонента были свои метаданные. В отличие от этого, в Oracle BI Suite EE все клиентские приложения и инструменты были с самого начала созданы для совместного использования одних и тех же метаданных, аналитического сервера приложений, инфраструктуры вычислений и инструментов администрирования, единой модели безопасности и управления привилегиями пользователей.

В состав платформы Oracle BI Suite EE входит следующий набор инструментов (клиентских приложений):

BI Answers — инструмент для выполнения произвольных (ad hoc) запросов и анализа;
BI Interactive Dashboard — интерактивные информационные Web-панели, отображающие персонализированную информацию;
BI Publisher — масштабируемое средство формирования регламентированных отчетов в разных форматах на основе данных из множества источников и их рассылки по различным каналам;
BI Briefing Books — средство создания и просмотра «мгновенных снимков» информационных панелей;
BI Disconnected Analytics — средство доступа пользователей к возможностям BI Answers и BI Interactive Dashboard при работе в режиме офлайн, предусматривает полную и инкрементальную синхронизацию данных мобильной среды с корпоративными источниками данных;
BI Office Plug-In — инструмент работы с аналитическим сервером через такие приложения, как MS Word, Excel и Powerpoint;
BI Delivers — механизм распространения по различным каналам сообщений о событиях.
Значительной особенностью Oracle BI Suite EE является наличие компонентов для проактивной аналитики (BI Delivers). Идея достаточно проста — оповещение аналитической системой о факте выхода того или иного показателя за установленные пределы. При этом в качестве формируемого события — выход показателя за установленные пределы — может выступать электронное письмо с вложенным отчетом, sms-сообщение и т. д.

Кроме того, в состав клиентских приложений в Oracle BI EE включен очень мощный и функциональный сервер формирования регламентированных отчетов и форм (BI Publisher). Он имеет централизованную архитектуру, обеспечивающую генерацию и безопасное распространение отчетов, и может работать над одной и той же моделью данных с Oraclе BI EE.

И наконец, объявлено, что в Oracle BI EE будет реализована интеграция с Oracle BPEL PM, что открывает перед разработчиками широкие перспективы по включению BI-средства в бизнес-процессы компании, включая организацию корпоративного документооборота.

Все клиентские приложения реализованы в «чистой» Web-среде, на основе HTML, DHTML, JavaScript — пользователю не придется выполнять загрузку какого-либо клиента, использовать программные расширения, элементы управления на базе ActiveX или Java-апплеты. Это позволяет пользователю работать с системой откуда угодно, для этого необходимо лишь иметь Web-браузер.

Метаданные

Аналитический сервер Oracle BI Server представляет данные пользователям согласно логической бизнес-модели — корпоративной семантической модели (Enterprise Semantic Model). Эта модель имеет три слоя: физический, содержащий метаданные о физических источникам данных, имена таблиц, первичные и внешние (primary and foreign) ключи, статистики по количеству строк (row counts), правила доступа к таблицам, а также пул соединений; бизнес-слой, содержащий описания измерений и иерархий, логические таблицы, правила выбора источников данных, правила построения вычислений, аггрегаций и временного анализа, а также правила детализации; слой представления — упрощенное, персонализированное представление данных, к которым ссылаются с применением «логического SQL».

Физический слой этой модели связан с физическими соединениями к источникам данных: реляционным и многомерным (OLAP) через SQL-представления или MDX (только к многомерным), XML- или любой источник данных с ODBC-интерфейсом.

Бизнесслой обеспечивает уровень абстракции над физическими объектами и позволяет администратору группировать данные в логические тематические области (logical subject areas). «Направления детализации» (Drill paths) могут быть установлены с применением определений измерений и размерностей. Они могут использовать преимущества встроенного «движка» вычислений (in-built calculation engine) в аналитическом сервере.

Слой представления определяет, что конечные пользователи увидят, когда они начнут выбирать данные в клиентском приложении. Это может быть полный набор данных в бизнес-слое или просто поднабор, и вы можете применять фильтры и ограничения (scoping), так что отдельные департаменты/сотрудники увидят только «свои», непосредственно для них предназначенные, данные.

Доступ к данным и обработка запросов

Oracle BI Server в части обработки запросов выполняет две основные функции: компиляцию входящих запросов (от пользователей) в исполняемый код и непосредственно исполнение этого кода. Разбор и компиляция запроса состоит из пяти основных стадий: синтаксического анализа, генерации логического запроса, навигации, переписывании и генерации конечного кода. При этом основной и самой важной является именно стадия переписывания или оптимизации запросов. На этой стадии сервер занимается оптимизацией с учетом специфики каждого конкретного источника. Механизм объединения данных учитывает физическое расположение данных (таблица базы данных или, например, плоский файл), особенности функциональности SQL, поддерживаемого базой данных, а также аналитической сложности запроса.

В платформе Oracle BI Suite ЕЕ обработка запросов к данным максимально переносится, насколько это возможно, на серверы источников данных. Хотя аналитический сервер этой платформы может выполнять OLAP-вычисления и анализ, лучше все-таки использовать для этого выделенный OLAP-сервер, и, аналогично, при работе со сверхбольшими наборами данных лучше использовать высокопроизводительный сервер реляционной СУБД. Поэтому, когда возможно, для обработки используются именно эти технологии, а не аналитический сервер, роль которого в этом случае заключается в принятии запросов от инструмента (клиентского приложения) и их трансляции в предложения SQL (или MDX) к базам исходных данных. Когда эти базы возвращают результаты, аналитический сервер сводит данные, если нужно, сам выполняет некоторые вычисления, форматирует эти данные и возвращает их клиентскому приложению.

Сгенерированные предложения SQL оптимизируются, чтобы была возможность пользоваться преимуществами базы данных источника. Ее сервер может получать доступ к данным в аггрегированных таблицах (aggregate tables), если он «знает» о таковых. Это может означать, например, что вы можете прямо отображать измерения на более высокий уровень аггрегирования, до аггрегированных таблиц в базе данных, которые можно использовать как замену для механизма перезаписи в запросе (query rewrite mechanism) в базе данных Oracle. Эту особенность можно задействовать, чтобы задать аналитическому серверу использование другого представления (view) SQL для аналитического пространства (analytic workspace) Oracle, если требуется аггрегирование более высокого уровня.

В целом, Oracle BI Server предоставляет очень широкие возможности настройки доступа данным и их обработки с максимальным использованием метаданных, за что этот сервер некоторыми аналитиками именуется «интеллектуальным» (intelligent).

Хранилища «виртуальные» и «настоящие»

Выше очень кратко представлены архитектура и основные особенности Oracle BI Suite EE. Безусловно, разработчики при применении этой платформы придумают новые схемы и подходы к созданию приложений. Сейчас же хотелось бы остановиться только на одном моменте.

Предположим, что у заказчика в промышленной эксплуатации есть несколько транзакционных систем со своими базами данных (первичными источниками), и нужно получить консолидированную аналитическую отчетность на основе данных из этих баз данных. С помощью Oracle BI Server можно решить эту задачу без проектирования и построения классического хранилища данных! Фактически, можно создать «виртуальное хранилище данных», которое для клиентских приложений будет выглядеть как независимый источник денормализованных данных (в привычных понятиях: анализируемые величины, аналитические разрезы, иерархии и т. д.). При обработке поступающих запросов аналитический сервер будет их транслировать к первичным источникам данных, в том числе транзакционным. Минусы такого решения — нагрузка на первичные источники и неэффективная для отчетов физическая модель данных в первичных источниках (в основном сильно нормализованная, распределенная структура). Для решения этих проблем и предлагается строить «настоящее» хранилище данных… Поэтому «виртуальное хранилище данных» можно рассматривать как быстрое и временное решение, чтобы потом перейти к полноценному хранилищу данных.

Однако оба эти варианта с «виртуальным» и «настоящим» хранилищами данных не исключают друг друга, и возможно их эффективное сочетание благодаря механизму доступа к данным в Oracle BI Server.

Любое хранилище данных работает по расписанию, в соответствии с регламентом, например, только ночью. С другой стороны, хранилище обеспечивает снижение нагрузки на транзакционные (учетные) системы — первичные источники данных. Кроме того, информация в хранилищах размещена в денормализованном виде, что обеспечивает минимальное время отклика системы на запросы. Oracle BI Server можно настроить таким образом, что при обращении к историческим данным он будет «прозрачно» для пользователя переадресовывать запросы хранилищу, а при обращении к данным, например, текущего дня — к базе данных транзакционной системы. Альтернативным вариантом решения может быть использование аггрегированной информации, которая содержится в хранилище, с возможностью ее детализации до первичных проводок, находящихся в транзакционной системе.

Можно даже ввести такое понятие, как «материализации» виртуального хранилища, когда постепенно, в зависимости от бизнес задач и требований, происходит формирование полноценного хранилища данных. Изначально трудно определить весь спектр бизнес-областей и понятий, которые понадобятся для BI-среды. Обычно этот список растет со временем. Сразу начинать формировать хранилище данных не всегда возможно и удобно. Виртуальное же хранилище можно рассматривать как прототип для будущей большой системы.

***

Платформа Oracle BI Suite EE по способам доступа к данным и архитектуре относится ко второй группе. Но, по мнению многих аналитиков, называющих Oracle BI Suite EE аналитической платформой следующего поколения, в ней эта архитектура реализована наиболее полно, последовательно и эффективно, что конкретно и проявляется прежде всего в именно в такой реализации аналитического сервера с доступом к разнообразным источникам данных, определении метаданных и их использовании, обработке запросов пользователей.

Поделиться:


Тэги: Web 2.0


КАЛЕНДАРЬ
ПОСЛЕДНИЕ НОВОСТИ
21.06.2019
TESSA 3.3 – новые горизонты СЭД
Компания Syntellect объявила о выпуске официального релиза СЭД TESSA версии 3.3.
В новой версии платформы расширены возможности легкого клиента, обеспечена поддержка разных часовых зон и внесено более сотни других улучшений.

28.03.2019
Финансы уйдут в электронный документооборот
На рассмотрение государственной думы РФ вынесен законопроект о введении электронного документооборота в российских организациях. При создании электронных копии бумажных документов, оригиналы нужно будет хранить всего год.

28.03.2019
В ожидании цифрового прорыва
Как выбраться из «колеи», в которой, согласно институциональной теории, движется, увязнув всеми колесами, Россия? Ответ на этот вопрос эксперты ищут не первый год. Вряд ли есть одно решение, но, возможно, в этом стране помогут технологии: отечественная математическая школа всегда высоко ценилась во всем мире, да и IT-отрасль в России развита сильнее прочих. Во всяком случае, именно на их развитие делают ставку власти: от направления «Цифровые технологии» нацпроекта «Цифровая экономика» они ждут настоящего прорыва. Впрочем, его успех, по мнению экспертов, будет зависеть от синхронизации процесса цифровой трансформации во всех российских регионах.