Фахівець пояснив, чому парадокси важливі у бізнес-аналітиці

04.03.2021

Бізнес-аналітика, машинне навчання, аналіз big data, економетричне моделювання, статистична звітність та процеси виведення бізнесу та стратегічного розвитку – в усіх цих галузях без парадоксів не обійтись, переконаний дописувач Analytics Mag.

Спеціаліст у галузі машинного навчання Рам Саґар у колонці для Analytics Mag розповів про парадокси як елемент роботи алгоритмів та розказав, яким чином їх можна використовувати. 

“Усі узагальнення є хибними, в тому числі і це”, – нагадав дописувач вислів Марк Твена. Саґар вказує, що парадокс – поєднання двух суперечливих думок – природна здатність людського розуму. Утім, комп’ютери, які переграють шахових ґросмейстрів, все одно не виконують тривіальних людських завдань, зазначає він.

Це типовий приклад парадоксу Моравека. Як пише сам Моравек, “порівняно легше забезпечити комп’ютер можливістю виконання таких складних операцій, як гра в шахи і тестування рівня продуктивності пристроїв, але майже неможливо навчити його навичкам навіть однорічної дитини, коли мова йде про швидкість обробки інформації”.

На конференції MLDS 2021 Девід Гаузер, головний науковий керівник Genpact, запропонував свіжий погляд на парадокси. У своїй доповіді під назвою “Парадокси та несподівана контр-інтуїція в бізнес-аналітиці та математиці” він пояснив, як контрінтуїтивне мислення може сильно вплинути на прийняття бізнес-рішень.

Парадокси, бізнес-аналітика та математика

“Що стосується парадоксів, ми, як правило, не помічаємо лісу за деревами. Чим більше парадоксів, тим менше шансів їх помітити. І якщо їх помічають, їхній вплив на результат не враховується”, – пише Саґар. 

Утім, переконаний він, парадокси заповнюють усі типи загальних та складних математичних програм, включаючи бізнес-аналітику, машинне навчання, економетричне моделювання, статистичну звітність та аналітику великих даних. Певні парадокси, за його словами, є комічними, тоді як інші дивні, а деякі інші мають надзвичайно інтуїтивний характер. “Проте все це має величезні наслідки. І в деяких, навіть багатьох контекстах парадокси можуть призвести до діаметрально протилежних результатів, ніж передбачалося”, – каже він.

У міру того, як складна система стає дедалі складнішою та повнішою, вона стає менш зрозумілою. Таким чином, пише Саґар, коли модель стає більш реалістичною, її стає важче зрозуміти. 

“Клієнти хочуть, щоб модель була зрозумілою та реалістичною. Отже, ось парадокс, з яким повинен працювати дослідник даних”, – зазначає дописувач. Він згадує Гаузера, який наголошує на тому, що приймати інтуїтивно зрозумілі рішення означає відмовитися від точності (наприклад: прунінг мереж). Тоді ж, продовжує він, коли ми додаємо нелінійність або взаємодію, відповіді стають менш інтуїтивними. 

“Бізнес-рішення полягають у правильному виборі. Але ми живемо у світі надмірності. Існує так багато інструментів та послуг на вибір. Подібним чином парадокс Фредкіна стверджує, що чим більше дві альтернативи здаються схожими, тим важче вибрати між ними і тим більше часу / зусиль потрібно для прийняття рішення”. 

Гаузер пропонує два сценарії:

• коли дві змінні у моделі сильно корелюють;
• коли багато пояснювальних змінних у моделі мають високу кореляцію. 

Якщо не вирішити парадокс Фредкіна, організація, вірогідне, прийде до “каяття покупця”, оскільки більше часу витрачається на безглузді рішення, а незначні розбіжності стають більш критичними.

А що з Big Data?

У випадку ШІ, чим легше завдання, тим більше потрібно обчислювальних зусиль. Бізнес, який прагне впровадити системи ШІ та бізнес-аналітики, зазвичай підбирає складні проекти, а не працює над легшими цілями. Наприклад, пошукові системи на основі ШІ, самокеровані автомобілі – це складні завдання, тоді як узгодження різнорідних наборів даних та виявлення аномалій в режимі реального часу є простими задачами. Ще однією передумовою поганого прийняття рішень у бізнес-аналітиці є проблема упередженості:

• надмірна впевненість у тому, що якась модель не працює;.
• надмірна впевненість у тому, що якась функція має рацію.

В обох випадках аналітик даних втрачає багато інформації. Іноді різні галузі можуть показувати ідентичні результати. Тому Гаузер підкреслює важливість розуміння базової математики за бізнес-аналітикою. Він також виступає за необхідність об’єктивно ставити під сумнів та оскаржувати припущення щодо даних. “Існує потреба в аналітичній грамотності”, – пікреслює дослідник. Зрештою все зводиться до одного – реалізації. Деякі моделі машинного навчання можуть виглядати ідеальними для команди вчених-дослідників даних, але результати нестандартної моделі можуть вразити клієнта, і це все, що потрібно; це парадокс рішення, резюмує Саґар.