Що таке корпоративне сховище даних (Data Warehouse) і кому його продавати. Модель бази даних. Вітрина даних. OLAP

1. Щоб продавати, треба розуміти що продаємо Визначимося з термінологією і поняттями. Корпоративне...
2. З чого складається корпоративне сховище даних
3. Як виглядають компоненти корпоративного сховища даних (модель даних, ETL-процеси, вітрини даних)
4. Супутнє програмне і апаратне забезпечення

Щоб продавати, треба розуміти що продаємо

Визначимося з термінологією і поняттями. Корпоративне сховище даних (Data Warehouse) - це не система ключових показників ефективності (КПЕ, KPI), це не велика база даних, це не аналітичний OLAP-інструмент, це не інтелектуальна система, що дозволяє добувати нові дані і отримувати статистичні залежності, це не система єдиної НДІ - це все не ХД, якщо говорити про нього в контексті окремо взятого пункту.

Корпоративне сховище даних - це спеціальним чином організований масив даних підприємства (організації), що обробляється і зберігається в єдиному апаратно-програмному комплексі, який забезпечує швидкий доступ до оперативної та історичної інформації, багатовимірний аналіз даних (KPI по різним вимірам), отримання прогнозів і статистики в розрізах узгодженої нормативно-довідкової інформації (НДІ).

Потенційні клієнти на корпоративне сховище даних і що вони отримують?

Як визначити потенційних корпоративних клієнтів, яким необхідно сховище даних ?

1. Перш за все, в повсякденній діяльності в компанії повинна виникати маса інформації. Це можуть бути телефонні дзвінки, фінансові транзакції, скарги / відгуки клієнтів, заявки клієнтів на відвантаження, інформація із супутників-шпигунів і т.п. В принципі, все що завгодно, головне щоб даних було багато.
2. У потенційного клієнта повинно бути бажання бачити і аналізувати цю інформацію. При цьому період аналізу повинен бути досить великим - від дня або навіть години, до аналізу декількох років.
3. У клієнта повинна бути нормально працює інфраструктура (серверів, з'єднаних кручений пари або по USB порту, бути не повинно). Якщо інфраструктури у клієнта немає - йому її потрібно продати.

Які вигоди клієнт отримує від впровадження корпоративного сховища даних?

1. З'являється єдина інформаційна система зберігання корпоративних даних, в якій використовується єдина довідкова інформація.
2. Виникає можливість проведення всебічного аналізу бізнесу. Наприклад: які клієнти є найбільш прибутковими і вигідними; яка послуга, у яких клієнтів є найбільш затребуваною, якого роду претензії найбільш часті і в яких регіонах і т.п.
3. З'являється можливість проведення аналізу з використанням історичних даних. Найчастіше операційні (автоматизують щоденні бізнес-процеси) системи не дозволяють цього робити, у них банально не вистачає місця для зберігання історії та потужності для проведення аналізу.
4. З'являється можливість з'єднання і аналізу інформації, раніше зберігалася в різних інформаційних системах. Наприклад, дані по трафіку різних філій зберігаються в білінгових системах від різних розробників. Після впровадження ХД з'являється можливість їх аналізу разом, в єдиному звіті.
5. З'являється можливість аналізу і схрещування різних за родом даних. Наприклад, гроші і трафік, кількість персоналу та кількість відмов або претензій і т.п.
6. З'являється основа для більш якісного розрахунку собівартості послуг - на підставі інформації з корпоративного сховища даних можна отримувати більш адекватні дані для натуральних баз розподілу.

З чого складається корпоративне сховище даних

З яких компонентів будує корпоративне сховище даних з технічної точки зору?

Компоненти корпоративного сховища даних підприємства

1. У клієнта завжди є операційні системи - джерела даних для корпоративного сховища даних. Це, наприклад, бухгалтерські, біллінгові, банківські тощо системи.
2. Використовуючи ETL-додаток (програмне забезпечення, що дозволяє витягувати, трансформувати і завантажувати дані ), Дані з систем-джерел потрапляють в базу даних сховища даних. Як ETL-засоби можуть використовуватися: Informatica Power Center, IBM DataStage, Oracle Data Integrator, Oracle WareHouse Builder. Існують і продукти від інших вендорів, але вони майже не представлені на російському ринку.
3. Сама база даних корпоративного сховища не є абстрактною за своєю структурою (набору таблиць, полів в них і взаємозв'язків між таблицями), а створена на основі моделі даних. За базу даних в переважній більшості використовується або Oracle, або Teradata.
4. модель даних є опис всіх сутностей, об'єктів бази даних корпоративного сховища даних і включає в себе: концептуальну модель даних, логічну модель даних і фізичну модель бази даних. На рівні концептуальної моделі визначаються суті і взаємозв'язку між ними. На рівні логічної моделі сутності діляться на бізнес-області, їм дається докладний і повний опис, прописуються взаємозв'язку. При розробці фізичної моделі бази даних визначається вся структура бази даних - від таблиць і полів в них, до партіцій і індексів. Моделі даних сьогодні на ринок поставляють IBM, SAP і Oracle, але покупка моделі даних не означає автоматичне побудова правильного корпоративного сховища. Модель даних - це не коробковий продукт. Її потрібно модифікувати під потреби конкретного клієнта.
5. Далі, вже використовуючи дані з корпоративного сховища даних, проводиться настройка областей аналізу, звітності та вітрин даних. Надалі користувачі цілком самостійно можуть будувати необхідну звітність і проводити багатовимірний аналіз. Як інструменти аналізу в основному використовуються Business Objects, Oracle Discoverer, IBM AlphaBlocks і інші продукти.

Як виглядають компоненти корпоративного сховища даних (модель даних, ETL-процеси, вітрини даних)

Наведемо наочні приклади моделі даних, реалізації ETL-процесу, форми підтримки єдиної НДІ , Вітрин даних.

Логічна модель даних.
Визначає суті, їх атрибути та зв'язки між ними.

ETL процес усунення дублікатів у вихідних даних

Форма введення даних для формування єдиного довідника

Вітрина даних в формі табличного звіту

Вітрина даних з графіком і колірним
виведенням даних по заданій умові

Вітрина даних з графіком

Супутнє програмне і апаратне забезпечення

Перш за все, крім самих послуг на розробку корпоративного сховища даних, продаються ще й ліцензії як на серверне програв забезпечення (ОС, базу даних, сервер додатків і ін.), Так і на клієнтські місця (засоби антивірусного захисту і забезпечення безпеки).

Можливо, існуючі сервера клієнта не призначені для розгортання сховища даних. Необхідно висувати до них вимоги і продавати потенційному клієнту "залізо".

Крім самих серверів для зберігання значного обсягу інформації необхідні дискові масиви.

Маючи намір будувати корпоративне сховище даних, потенційний клієнт не завжди розуміє як він буде забезпечувати резервування. Найчастіше існуючі у клієнта системи резервного копіювання не здатні миттєво підключити до резервування обсяги даних від 20-30 Тб.

Як правило, фахівцям і користувачам клієнта вимагається проходження курсів навчання.