Про Oracle Business Intelligence

Меня кто-то в комментариях спросил о том, что я думаю о других платформах BI и, в том числе, об Open Source. Хотя, обычно я, как представитель Oracle, и в силу других причин, стараюсь не влезать в дискуссии типа что на рынке лучше или хуже, тем не менее, подумалось, что вопрос-то, можно поставить гораздо шире. А зачем вообще нужны эти все платформы бизнес-анализа, если можно написать аналитику самим или взять опенсорс?

Так что, я решил поделиться своими личными наблюдениями. Благо в области OLAP, DWH. BI, репортринга и проч., я работаю, страшно подумать, с 1996 года.
Continue Reading »

В конце 2006 года, примерно в октябре-ноябре месяце, Oracle приобрел компанию Sunopsis. Приобретение было сделано из-за продукта, который назывался Sunopsis Data Conductor.

Этот продукт был довольно мало известен в России, но занимал определенную нишу в мире. После приобретения, Sunopsis Data Conductor был переименован в Oracle Data Integrator. Самое интересное было в том, что этот продукт до приобретения Oracle был прямым конурентом Oracle Warehouse Builder. И, конечно, интересно, что между ними общего и чем они отличаются.
Continue Reading »

Постоянно задают вопросы типа:

\”Если мы купим 5 пользовательских лицензий на базу Oracle Standard Edition , но все наши сотни пользователей будут заходить в базу под одним логином, будет ли это нарушением лицензионной политики?\”

или

\”Если у нас одновремнно к базе подключается не больше чем 10 пользователей, но всего у нас 100 пользователей, сколько мы должны купить лицензий?\”

и т.п.

Вообще говоря, лицензирование, конечно, вещь довольно запутанная, но если вас интересуют эти вопросы, то желательно понимать хотя бы основные моменты.
Continue Reading »

Теперь пара слов о том, в чем заключается \”бюджетность\” BI SE ONE и вообще что это такое.

Как вы знаете, Oracle Business Intelligence Enterprise Edition – это хороший продукт, с большим функционалом, но достаточно дорогой. Нужно купить минимум 50 лицензий на пользователей.

Для того, чтобы сделать эту технологию доступной для малых и средних предприятий, было решено выпустить пакет Business Intelligence Standard Edition ONE.

В этот пакет входят следующие компоненты:

• Oracle Database SE ONE. Обратите внимание, в BI Enterprise Edition СУБД не входит, а тут можно получить \”в одном флаконе\” и СУБД и средства анализа за небольшие деньги (об этом ниже).
• Oracle Warehouse Builder
• Oracle BI Server EE
• Oracle Answers
• Oracle Dashboards
• Oracle BI Server Administrator
• Oracle Business Intelligence Publisher

На использование этих компонентов накладываются следующие лицензионные ограничения:

• Пакет можно использовать на серверах имеющих максимум два сокета (разъема для процессора) То есть, его нельзя ставить, скажем, на большие сервера, даже если их можно аппаратно партиционировать.
• Минимальное количество пользовательских лицензий – 5, максимальное 50. Процессорной метрики лицензирования нет. Если у вас больше 50 пользователей – надо покупать BI Enterprise Edition
• В качестве источников данных для BI Server и для BI Publisher можно использовать ту базу данных, которая идет в пакете (Oracle DB SE ONE), одну дополнительную СУБД (любую) и любое количество файлов (TXT, XLS и т.д.)
• Вы можете использовать включенный в пакет Oracle Warehouse Builder для того чтобы загружать данные из любого количества источников во включенную СУБД. То есть можно организовать хранилище на базе этой включенной СУБД
• Операционная система должна быть Windows

Цена пользовательской лицензии – 1000 USD, то есть с учетом минимума в 5 лицензий входная планка находится в районе 5000 USD (плюс техподдержка и налоги), что, согласитесь, для такого набора продуктов (СУБД, ETL и BI) не много.

Update 27.06.08: Цены в прайслисте повысились и теперь цена за лицензию не 1000, а 1200 USD

Update 23.11.10: Убрано ограничение, что операционная система для BI SE ONE должна быть Windows. Теперь можно использовать любую платформу, на которой сертифицирован BI EE.

Документация по BI SE ONE находится тут.

Страница на сайте Oracle, посвященная этому продукту – тут

Довольно часто спрашивают – нет ли каких-нибудь обучающих материалов по работе с продуктами Oracle, в частности по Business Intelligence?

На сайте Oracle существует целый раздел с такими обучалками. Называется он Oracle By Example. На страницах, посвященным разным продуктам, часто существуют линки на этот раздел. Например на странице, посвященной Oracle OLAP в разделе Learn More есть такая ссылка. Если пойти по ней, можно попасть на пошаговую обучалку о том как строить OLAP кубы с использованием Analytic Workspace Manager

Главная страница с пошаговыми обучающими материалами по Oracle Business Intelligence и смежным технологиям находится тут.
Часто там бывают и ссылки на демо базы и прочие материалы для прохождения этого обучения

На текущий момент там есть разделы с обучалками по следующим направлениям:

• Oracle BI Enterprise Edition (EE)
• OracleBI Discoverer
• Oracle BI Publisher
• Oracle Real-Time Decisions
• Oracle BI Standard Edition (SE)
• OracleBI Beans
• Oracle Reports
• OracleBI Spreadsheet Add-In
• Oracle Database: Business Intelligence and Data Warehousing
• Oracle Warehouse Builder

Например, по Oracle BI EE существует уже довольно большой список обучалок. Просто перечислю:

• Creating Interactive Dashboards and Using Oracle Business Intelligence Answers
• Creating a Repository Using the Oracle Business Intelligence Administration Tool
• Installing the Oracle Business Intelligence Enterprise Edition on Windows
• Using Oracle OLAP With Oracle Business Intelligence Enterprise Edition
• Integrating Oracle BI Publisher with Oracle Business Intelligence Enterprise Edition
• Sending Alerts Using Oracle Business Intelligence Delivers

Обратите внимание, что есть даже обучалка про интеграцию BI EE c OLAP.

Продолжение. Начало здесь.

В прошлой части я написал об основе Oracle Business Intelligence Enterprise Edition – аналитическом сервере. Но сервер это что-то, что скрыто от глаз конечных пользователей. В этой части, я расскажу о тех компонентах, которые уже ближе к конечному пользователю.

Когда мне самому приходится анализировать данные, лежащие в какой то базе, обычно мне хватает какого-нибудь инструмента вроде Oracle Discoverer, а то, что нельзя или долго делать в Discoverer я всегда могу написать на SQL. Мне повезло – я более-менее знаю SQL и могу им пользоваться. Но когда приходится внедрять систему BI для конечных пользователей возникает несколько проблем. И многие из них нетехнологические.

На любом предприятии есть масса людей, которые завяляют что им нужна бизнес-аналитика. На практике же получается что очень немногие могут пользоваться даже достаточно дружественным Discoverer или другим построителем отчетов. И чем выше такой человек в иерархии организации, тем такая ситуация встречается чаще и тем сложнее ему осваивать какие-то инструменты. Да и часто такие люди вообще \”на Вы\” с компьютерами. Что делать, навыки и способности у всех разные.
Continue Reading »

Теперь перейдем собственно к Oracle OLAP.

Как я уже упомянул, в 1995 году Oracle приобрел компанию IRI – пионера в области MOLAP, производителя Express. Я сам впервые столкнулся Oracle Express в 1999 году. Если бы я не прочитал, что первая его версия появилась в 1970, никогда бы не подумал.

На самом деле, с 1970 продукт несколько раз переписывался, в том числе и на другие языки программирования. И в 1995, когда его купил Oracle, Express был лидером в своем классе.

Семейство Oracle Express состоит из нескольких продуктов:

• Oracle Express Server – собственно многомерный сервер.
• Oracle Express Objects – RAD среда, напоминающая Visual Basic, с помощью которой можно написать любой интерфейс пользователя.
• Oracle Express Analyzer – смотрелка кубов (в том случае если вы не хотите писать собственный интерфейс). Этот же Analyzer является runtime-средой для приложений, написанных на Objects.
• Express Web Publisher – компонент, который позволяет публиковать данные из Express на вебсайтах.

У Express Server есть помимо стандартных возможностей просмотра содержимого кубов, есть ряд интересных и иногда даже уникальных возможностей. Continue Reading »

Вопросы об OLAP занимают особое место. В отличие от большинства других технологий, где часто можно услышать вопрос \”Что такое Discoverer?\” или \”Что такое Spatial?\”, когда дело касается OLAP чаще всего слышен вопрос: \”Мы хотим поставить себе OLAP. Что нам нужно для этого сделать?\”

То есть OLAP – это такой термин, который у многих на слуху, но когда начинаешь задавать дополнительные вопросы, очень часто выясняется, что под OLAP-ом может пониматься что угодно. Однажды даже, после 5-минутного объяснения, я услышал \”Я не понял, а что, OLAP это разве не система управления документооборотом?\”

Хотя, справедливости ради скажу, что большинство спрашивающих все-таки знают, что OLAP – это из области аналитики.

Так что, прежде чем разбираться что такое Oracle OLAP, давайте попробуем разобраться что вообще такое OLAP?
Continue Reading »

Как оказалось, RDF и все о чем говорилось в прошлом посте имеет уже практические применения.

Во первых, RSS, оказывается, первоначально расшифровывалось не как \”Really Simple Syndication\”, а \”RDF Site Summary\”

Во-вторых, в исходных текстах многих страниц интернета, например в тех же блогах можно встретить RDF вставки. Даже в коде этой страницы.

Нашелся перевод на русский оригинальной статьи Тима Бернерса-Ли сотоварищи про семантические сети. Тут.

Теперь что касается Oracle Spatial.

Поддержка RDF появилась в Spatial только в версии базы 10g Release 2. Раньше не было.

Поэтому поводу, в документации по 10.2 появилась новая книжка \”Oracle® Spatial Resource Description Framework (RDF)\”

Там есть два примера, которые можно прогнать на своей базе и посмотреть как это все работает.

Один пример про каталог публикаций. (Статья, Автор, На какую статью ссылается) И затем можно делать запросы о ссылках.
Например. Запрос, ссылается ли статься Article2 на статью Article3:

SELECT SDO_RDF.IS_TRIPLE(
\'articles\',
\'http://www.nature.com/nature/Article2\',
\'http://purl.org/dc/terms/references\',
\'http://www.nature.com/nature/Article3\') AS is_triple FROM DUAL;

Ответ – TRUE (EXACT)

Второй пример более интересен. Он о том, как построить иерархию семьи (John – отец Matt, Sammy – отец Cathy, Cathy – сестра Jack и т.д.)

А вот как вставляется запись, о том, что John – отец Matt:

INSERT INTO family_rdf_data VALUES (2,
SDO_RDF_TRIPLE_S(\'family\',
\'http://www.example.org/family/John\',
\'http://www.example.org/family/fatherOf\',
\'http://www.example.org/family/Matt\'));

А вот как описывается отношение \”Если x – родитель y, а y – родитель z, то x – дедушка y\” В оригинале, конечно не \”дедушка\”, а GrandParent, а GrandParent это может быть и \”бабушка\”, но я не знаю какое слово в русском этому соответствует :-)

INSERT INTO mdsys.rdfr_family_rb VALUES(
\'grandparent_rule\',
\'(?x :parentOf ?y) (?y :parentOf ?z)\',
NULL,
\'(?x :grandParentOf ?z)\',
SDO_RDF_Aliases(SDO_RDF_Alias(\'\',\'http://www.example.org/family/\')));

То есть, можно создавать новые отношения между существующими отношениями, а потом делать запросы используя уже новое отношение.

Вот например запрос: \”Выбрать всех дедов и их внуков\”. При этом, изначально, в базе были определено только кто является чьим родителем.

SELECT x grandfather, y grandchild
FROM TABLE(SDO_RDF_MATCH(
\'(?x :grandParentOf ?y) (?x rdf:type :Male)\',
SDO_RDF_Models(\'family\'),
SDO_RDF_Rulebases(\'RDFS\',\'family_rb\'),
SDO_RDF_Aliases(SDO_RDF_Alias(\'\',\'http://www.example.org/family/\')),
null));

Интересно, что \”дедушка\” от \”бабушки\” тут отличается по \”типу\” Male.

Результат запроса:

GRANDFATHER                        GRANDCHILD
-----------------------------------------------------------------------
http://www.example.org/family/John http://www.example.org/family/Cindy
http://www.example.org/family/John http://www.example.org/family/Jack


Может быть, синтаксис немного непривычный, но зато это SQL, а значит эти запросы можно поместить во View или вставить в любое приложение, которое понятия не имеет про всю эту кухню с RDF.

Коллега Марк Ривкин рассказал, что прочитал о том, что Oracle Spatial может служить платформой для приложений, основанных на Resource Description Framework, который(ая) является, в свою очередь основой для построения семантических сетей и семантического веба.

Проверил – и действительно, оказывается существует даже целый сайт http://www.oracle.com/technology/tech/semantic_technologies/index.html, посвященный этой теме. Там есть документы и презентации на эту тему.

Тим Бернерс-Ли, изобретатель всемирной паутины считает, что эта технология должна изменить интернет будущего.

Идея семантических сетей и семантического веба примерно вот в чем. В настоящее время интернет представляет из себя свалку документов, которые легко могут читаться людьми, так как люди понимают смысл, семантику текстов. Но для машин этот смысл недоступен и поэтому вы чаще всего не можете, скажем, сделать выборку по всем аптекам, работающим в вашем районе после 12 ночи, где можно купить нужное вам лекарство. Хотя у этих аптек могут быть свои сайты на которых эта информация есть, но хранится она там в виде, по которому поисковая машина не может \”понять\” что вот это именно график работы, а вот это именно район.

Идея с одной стороны снабдить специальными тегами сайты, или даже страницы на сайтах, по которым поисковики смогут однозначно \”понимать\” какая именно информация там лежит и соответственно доставать ее быстро и точно.

Если пойти дальше, то на уровне метаданных можно описывать не только принадлежность факта к какому-то понятию, но можно описывать сложные отношения. Например, если у нас есть факт, \”Иван является отцом Петра\”, то можно описать это соотношение как триаду (Иван,\’является отцом\’,Петр). Имея базу данных таких соотношений можно затем вывести соотношения типа \”Петр является сыном Ивана\” или если мы знаем, что \”Вася является сыном Петра\”, то, следовательно, \”Вася является внуком Ивана\”. И т.д. Запросы могут быть сложными, выводы тоже. Но так как объем данных огромен, возникает вопрос, как с этим работать?

RDF – это модель метаданных, основанная на XML, которая как раз и позволяет описывать эти смысловые соотношения, предикаты, между объектами. А имея описания отношений и базу данных объектов, связанных отношениями можно делать (в случае Spatial) SQL запросы, которые будут возвращать результаты гораздо более осмысленных запросов.

В общем, очень интересная тема, которая пока находится все-таки, в основном, в рамках научных разработок, но тем не менее я за последний год видел несколько коммерческих систем, которые занимаются например поиском в интернете статей с описанием каких-то событий, типа \”Петров посетил Индию и встретился там с Ивановым, заместителем Сидорова и его другом Кузнецовым\”, раскладывают эти события на части, а потом возможно делать запросы типа \”Найти всех людей, знающих Сидорова, с которыми встретился Петров в Индии\”
При этом Иванов скорее всего попадет в результат запроса, а Кузнецов – не известно, для этого нужно поднять другие факты.

Семантический веб даже упоминается в контексте \”Слабого Искусственного Интеллекта\” и позволяет представить интернет как одну огромную экспертную систему.

Приятно, что если вы захотите сделать подобную систему, вы можете не изобретать свой движок хранения и обработки такого рода данных, а можете взять Oracle Spatial

Здесь лежит техническая презентация о поддержке RDF в Spatial
А здесь интересная презентация о применении RDF и Spatial в биотехнологиях.