Сучасний бізнес стає все більш наукомістким. Зростаючі обсяги даних, часто надходять в десятках різних форматів, вимагають принципово нових методик їх аналізу та систематизації. Уміння витягувати цінну інформацію звідусіль стало запорукою збереження конкурентних переваг для багатьох компаній. Тримати штат аналітиків як і раніше необхідно, але вже недостатньо. Специфіка завдань вимагає різної кваліфікації персоналу і постійного залучення нових фахівців. Найбільш ефективним рішенням даної проблеми став науковий краудсорсінг - практика залучення експертів в різних сферах для вирішення практичних завдань на конкурсній основі.
Подання бізнес-завдання як конкурсного завдання дозволяє компанії-замовнику в стислі терміни отримати широкий набір готових рішень і різних підходів. Залишається тільки вибрати найбільш оптимальний варіант і зв'язатися з запропонував його колективом дослідників.
Сьогодні аналіз «великих даних» - зростаюча індустрія, в яку залучені великі закордонні та вітчизняні наукові школи. Серед них відкритий освітній портал Cloudera, Массачусетський технологічний інститут, спеціалізована платформа CrowdANALYTIX і багато інших. У російській індустрії аналізу великих даних такі змагання на регулярній основі проводить платформа «Алгома».
Генеральний директор компанії «Алгома» Михайло Льовієв на конференції ICT Expo-2014 в Гонконзі (фото: sk.ru).
Вже з назви стає зрозумілим основний принцип роботи: її колектив дійсно виступає в ролі моста між замовником і колективами фахівців з аналізу даних, допомагаючи їм знайти і зрозуміти один одного. Основною метою будь-якого завдання на обробку «великих даних» в рамках конкретної бізнес-завдання є пропозиція оптимального алгоритму, що виконує їх коректний аналіз.
Загальна схема взаємодії виглядає так: компанія передає свої дані для первинного аналізу фахівцям «Алгома», які переводять їх в задачку. Далі ця задача розміщується на їхній платформі як конкурсний проект, а всі зацікавлені експерти з аналізу даних (математики, статистики, бізнес-аналітики) пропонують свої алгоритми її вирішення. Вони змагаються за грошовий приз і можливість працювати з розмістила завдання компанією в майбутньому в якості учасників експертної команди. В останньому полягає інша особливість «Алгома».
Відмінність їх конкурсній моделі полягає в тому, що конкурс - лише перший етап. Після його проведення автори кращих рішень об'єднуються в команди для створення алгоритму, який об'єднає всі переваги самостійно розроблених рішень. Надалі ця науково-дослідна група працюватимуть з компанією в якості експертної команди по датамайнінгу. Проведення конкурсу дозволяє досягти відразу кількох цілей.
Загальна схема взаємодії з платформою "Алгома" (зображення: algomost.com).
По-перше, це безпосереднє рішення запропонованого завдання: створення ефективного алгоритму і його інтеграція в бізнес-процеси. По-друге, за рахунок змагального елементу відбувається виявлення кращих фахівців в сфері аналізу даних. По-третє, їх об'єднання в наукові групи розвиває саму індустрію аналізу «великих даних». Це прикладна дисципліна, і для підтримки свого рівня аналітики повинні постійно практикуватися в рішенні реальних задач.
Наприклад, недавно на платформі «Алгома» було запущено два абсолютно різних конкурсу. Перший з них - завдання по прогнозу розвитку динамічного графа соціальної мережі. З точки зору математики соцмережа - це універсальна структура, яка відображає зв'язки між людьми. Кожна людина представлений вузлом (вершиною), а будь-яка взаємодія між ними - дугою (ребром) графа. Додавання в друзі і фоловерів, здійснення дзвінка, спільна публікація наукової статті - все це приклади таких взаємодій. Динамічний граф цікавий тим, що відображає інтенсивність зв'язків в різні періоди часу. Вершини і ребра в ньому постійно з'являються і зникають.
При використанні в практичних завданнях це допомагає краще зрозуміти динаміку стану клієнтської бази. Наприклад, оператор стільникового зв'язку за рахунок динамічного графа може бачити поточну завантаженість мережі і реальне число активних абонентів. На підставі цих даних приймаються обґрунтовані рішення про пріоритети в розвитку інфраструктури, розробляються нові тарифні опції і вносяться інші корективи в існуючі схеми роботи.
Ілюстрація засновників "Алгома" в одній з мотивуючих книг (зображення: algomost.com).
Зазвичай в якості замовника виступають комерційні компанії, які прагнуть підвищити ефективність своїх бізнес-процесів. Правильне передбачення появи ребра в динамічному графі означає для них можливість раніше інших запропонувати затребувану послугу, рекомендувати потенційно цікаве багатьом співтовариство. У першому випадку можна раніше почати брати плату за користування послугою, у другому - збільшити лояльність клієнта демонстрацією грамотно підібраних персональних рекомендацій.
Конкурс триватиме до 30 листопада 2014 року. Його призовий фонд становить $ 2000.. Дізнатися всі деталі, а також завантажити дані для роботи можна тут .
інший конкурс проводиться спільно з компанією SAS і в ньому можна використовувати тільки інструменти SAS University Edition. Його мета - створення аналітичної моделі для оцінки платоспроможності позичальника і прогнозування виплат заборгованості. Фактично це завдання з області ризик-менеджменту, що зводиться до оптимізації колекторського скорингу. Він застосовується для взаємодії з клієнтами, яка відмовляється погашати заборгованість відповідно до затвердженого графіку платежів.
Зростаюча дебіторська заборгованість підриває фінансову стабільність компанії, але кожен відмова від видачі кредиту знижує її прибуток. Тому коректна оцінка платоспроможності позичальника є наріжним каменем усіх кредитних організацій. На конкурсі інформація про позичальника представлена тридцятьма двома вихідними показниками, серед яких є фінансові та знеособлені соціально-демографічні дані.
Завдання аналітиків полягає в тому, щоб спрогнозувати виплати за боргом. З надісланих рішень буде обрана трійка кращих, за які їх авторам виплатять призи в розмірі 90 000, 65 000 і 30 000 рублів відповідно. Також передбачені призи за найкраще оформлення і кращу студентську роботу.
В обох конкурсах можуть брати участь всі бажаючі: фахівці з аналізу даних, студенти математичних факультетів, бізнес-аналітики, програмісти, які захоплюються дата-Майнінг.
