Як аналізувати відгуки конкурентів за допомогою ШІ — без хибних висновків

Маркетолог хоче зрозуміти, на що скаржаться клієнти конкурентів і що вони цінують. Відгуків сотні, вони розкидані по картах, маркетплейсах і соцмережах. Здається, що ШІ може зібрати їх усі, розкласти на теми і видати готовий висновок: «у конкурента проблеми з доставкою».

Пряма відповідь: автоматизувати можна отримання доступних даних, видалення дублів і групування відгуків за темами. Висновки ж потребують перевірки на вихідних відгуках і розуміння того, наскільки вибірка викривлена. Частка скарг у зібраних відгуках не дорівнює частці незадоволених клієнтів конкурента. Це головне, що варто пам'ятати на кожному етапі.

Головна умова: дані отримуються лише дозволеним способом, з урахуванням умов майданчика і правил обробки персональних даних. Після статті ви зможете сформулювати питання аналізу, підготувати корпус відгуків, перевірити теми і правильно сформулювати висновки й гіпотези. Усі числа в прикладах навчальні.

Почати з питання аналізу

«Зібрати все про конкурентів» не є питанням аналізу. З таким завданням ви отримаєте гору даних і хмару тем, з якими незрозуміло що робити.

Добре питання вузьке і пов'язане з рішенням, яке ви можете ухвалити:

• Які проблеми з доставкою згадують клієнти конкурентів у нашому сегменті?
• Що клієнти хвалять у підтримці конкурентів, і чи є в нас аналог?
• Які очікування щодо гарантії й повернення найчастіше не виправдовуються?

Питання визначає все наступне: які майданчики потрібні, за який період, яких конкурентів брати, які теми шукати. Воно ж захищає від спокуси збирати дані, які вам не потрібні, у тому числі персональні.

Отримати дані дозволеним способом

Перш ніж щось збирати, визначте для кожного майданчика дозволений спосіб отримання даних: офіційний API, дозволене вивантаження, ручна вибірка або інший перевірений спосіб, що відповідає умовам майданчика. Обходити обмеження доступу, збирати дані всупереч умовам використання чи технічним захистам не варто: це юридичний ризик і ризик блокування.

Розгляньмо конкретний, але продуктово обмежений приклад: один API картографічного сервісу повертає для сторінки місця до п'яти відгуків, відсортованих за релевантністю, а не повний архів. Для даних цього API діють вимоги до атрибуції автора й посилання на оригінал, а також обмеження на попереднє завантаження, кешування та зберігання в межах передбачених винятків. Тому сценарій «вивантажити всі відгуки конкурента в таблицю і зберігати для аналізу» через такий API не підходить. Це правило конкретного продукту, а не всіх майданчиків: умови й доступні функції можуть відрізнятися за сервісом і регіоном та змінюватися. Перед проєктом перевірте актуальні умови саме обраного джерела й договір.

Інші майданчики мають свої умови. Висновок спільний: для кожного джерела зафіксуйте, як отримано дані і яке покриття вони дають.

Ще один аспект: персональні дані. Відгук публічний, але ім'я автора, фото профілю і іноді подробиці в тексті можуть бути персональними даними. Якщо до вашої обробки застосовуються правила захисту персональних даних, обмежте їх визначеною метою і збирайте лише необхідне. Публічність відгуку сама собою не скасовує обов'язків щодо даних. Застосовне законодавство й конкретні вимоги залежать від вашого випадку; їх варто з'ясувати з юристом.

Підготувати корпус

Корпус означає набір відгуків, з яким працюватиме аналіз. Від його якості залежить, чи можна довіряти висновкам.

Що зафіксувати й перевірити:

• Період. Відгуки за останні шість місяців і за п'ять років описують різну компанію.
• Мова. Якщо відгуки кількома мовами, вирішіть, як їх обробляти, щоб теми не розпалися за мовою.
• Конкуренти. Які компанії і які їхні точки чи продукти входять у вибірку.
• Дублі. Той самий відгук на кількох майданчиках чи повторно опублікований.
• Імовірний спам. Однакові тексти від різних авторів, рекламні вставки, відгуки не про ту компанію.
• Відгуки без тексту. Лише оцінка без коментаря не дає матеріалу для тем, але впливає на рейтинг.
• Посилання на джерело. Для кожного відгуку зберігайте, звідки він, щоб пізніше перевірити, якщо умови майданчика це дозволяють.

Для аналізу тем часто достатньо тексту відгуку, дати, майданчика і посилання, якщо умови джерела дозволяють їх зберігання. Ім'я автора і фото для цього зазвичай не потрібні; псевдонімізація сама собою не знімає обов'язків щодо персональних даних.

Навчальна схема корпусу

Перед стартом запишіть, скільки відгуків було до очищення і скільки лишилося після. Ця пара чисел потім потрапляє у звіт і показує, наскільки суттєвим було очищення.

Побудувати й перевірити теми

Автоматичне групування відгуків за темами економить багато часу. Один із підходів до групування тем — BERTopic. Метод перетворює кожен документ на числове представлення за допомогою мовної моделі, групує схожі представлення в кластери і для кожного кластера визначає характерні слова за допомогою варіанта TF-IDF на рівні класів. Простіше кажучи: схожі за представленням тексти можуть потрапити в одну групу, а для групи підбираються характерні слова. Один відгук із кількома темами може потребувати окремої багатоміткової розмітки.

Але кластер не є висновком. Метод знаходить групи схожих текстів, а не встановлює, чи правдиві відгуки і що відбувається в компанії насправді. Тому після автоматичного групування потрібні ручні кроки:

• Ручне називання тем. Людина читає приклади з кожної групи і дає темі зрозумілу назву: не «доставка_затримка_кур'єр», а «затримка доставки понад обіцяний строк».
• Неоднозначні відгуки. Один відгук часто містить кілька тем: «доставили пізно, але підтримка все вирішила». Він має отримати кілька міток.
• Сарказм і контекст. «Дуже швидко, всього два тижні» автоматично може потрапити в позитив. Такі випадки потребують перевірки.
• Контрольна вибірка. Розмітьте вручну частину відгуків і порівняйте з автоматичними темами. Так ви побачите, наскільки групування збігається з людським розумінням.

Як це може виглядати на числах, навчальний приклад. Аналітик випадково обирає 50 відгуків і вручну визначає для кожного основну тему. Потім порівнює зі своєю розміткою автоматичні групи. Якщо основна тема збіглася для 42 відгуків, проста частка збігу становить 42 ÷ 50 = 0,84, тобто 84%. Це не є повною оцінкою якості для відгуків із кількома темами. Важливіше за саму цифру те, де саме розбіжності: якщо 6 із 8 помилок припадають на тему «повернення», цю тему варто перевірити повністю вручну або переглянути налаштування групування. Числа тут вигадані для пояснення методу.

Сформулювати висновки

Висновок має бути точним щодо того, що саме він описує. Тут найчастіше трапляється підміна: дані про відгуки перетворюються на твердження про компанію.

Навчальний приклад: як рахувати і як формулювати

Припустімо, ви зібрали 200 доступних відгуків про одного конкурента за один період, і в 40 з них згадується затримка доставки.

Розрахунок: 40 ÷ 200 = 0,2, тобто 20%.

Чому частка у відгуках не дорівнює частці серед клієнтів: відгуки залишає лише частина клієнтів, які самі вирішили це зробити. Майданчики також мають власні правила показу й модерації. Тому будь-який висновок варто супроводжувати обсягом вибірки, періодом і джерелом.

Шаблон порівняльної таблиці

Числа в таблиці навчальні і мають лишатися позначеними як такі. Колонка «Покриття» обов'язкова: вона нагадує, що вибірка не є повною. Колонка «Можливе пояснення» містить гіпотези, а не факти.

Перетворити висновки на гіпотези

Аналіз відгуків конкурентів корисний не тоді, коли дає «правду про конкурента», а коли підказує, що варто перевірити у себе.

Як перейти від висновку до дії:

• Гіпотеза для продукту. «У доступних відгуках згадують строки доставки. Перевіримо, чи наші клієнти порушують цю тему і як ми повідомляємо очікуваний час».
• Гіпотеза для комунікації. «У доступних відгуках хвалять швидке визнання проблеми підтримкою. Перевіримо, чи наші шаблони відповідей роблять це».
• Гіпотеза для досліджень. «У доступних відгуках повторюються скарги на гарантію. Варто перевірити цю тему в розмовах із нашими клієнтами».

Чого не робити з результатами:

• Не публікувати звинувачень на адресу конкурента на підставі неперевірених відгуків. Відгук описує досвід автора, а не встановлений факт про компанію.
• Не використовувати назви конкурентів і цитати з відгуків у рекламі без юридичної перевірки.
• Не підміняти власні дослідження клієнтів аналізом чужих відгуків: це додаткове джерело гіпотез, а не заміна.

Що зробити на своєму процесі

1. Сформулюйте одне вузьке питання аналізу і рішення, яке залежить від відповіді.
2. Для кожного майданчика визначте дозволений спосіб отримання даних і запишіть покриття.
3. Визначте поля корпусу: текст, дата, майданчик, посилання. Не зберігайте імена й фото без обґрунтованої мети; для кожного джерела окремо перевірте дозволені строки й умови зберігання.
4. Очистіть корпус від дублів, імовірного спаму і відгуків не за темою.
5. Після автоматичного групування вручну назвіть теми і перевірте контрольну вибірку.
6. Формулюйте висновки як частки в доступній вибірці з обсягом, періодом і джерелом.
7. Перетворіть кожен суттєвий висновок на гіпотезу, яку можна перевірити на власних клієнтах.

Часті запитання