Как продвигаться в нейросетях, ведь ИИ-ответ всё время меняется?!
Действительно, ответ нейросети меняется буквально при каждом повторном запросе. Можно ли тогда продвинуться в ИИ? И если да, то как правильно отслеживать результаты?
Ключевой вопрос — что мы далее делаем с этими результатами и как их используем для бизнеса? В большинстве случаев нам нужно принять управленческое решение, а их бывает всего три:
1. Оставить как есть = ничего не делать.
2. Усилить = что-то начать делать для улучшения видимости бренда в ответе нейросети на этот промпт.
3. Ослабить — как-то повлиять со знаком «минус». Тут это вряд ли нам пригодится.
Итого, все ответы нужно анализировать, чтобы выбрать из 2 вариантов: что-то делать или оставить как есть. Исходя из этого мы и будем смотреть на «проблему» вариативности (изменения) ответа.
Принимаем решение
Оставить как есть или усиливать наше присутствие?
Зависит от динамики и наших амбиций. Самое удивительное — то, что вариативность ответа по отдельному промпту не вносит существенных изменений в наше решение, так как:
— Вариативность происходит вокруг «среднего» значения.
— Изменения усредняются по десяткам промптов и также стабилизируют показатели.
Аналогии с опросами, рекламой и результатами выдачи
1. На самом деле выдача Яндекса и Google тоже всё время меняется и также персонализирована. То есть, каждый пользователь уже с 2011 года (алгоритм «Рейкьявик») видит свою выдачу.
Это не сильно мешает анализировать позиции своего сайта и конкурентов и принимать управленческие решения. В панелях вебмастеров значения позиций из-за этого и нецелые.
2. А самая близкая аналогия — это опросы целевой аудитории (ЦА). То есть, если вы зададите одному и тому же человеку один и тот же вопрос, то он 10 раз из 10 ответит немного иначе.
— То вспомнит, как звали того режиссёра, который попал в кино благодаря Октябрьской революции, а то нет.
— То припомнит, где покупал последний раз незамерзайку для автомобиля, а то и нет.
Именно такой «представитель ЦА» и есть типичная нейросеть.
3. Рекламные объявления (и Директ тоже) меняются и при повторном запросе, и от пользователя к пользователю, что связано с многочисленными корректировками ставок по аудиториям, полу, возрасту, погоде и прочим показателям.
Разбираем на примере
1. Возьмём проект и набор из 39 промптов в нём.
2. Посмотрим последовательно 3 ответа нейросети на один и тот же запрос [Какие российские банки самые надёжные и дают лучшие условия по вкладам?].
3. Что видим? Нас будет интересовать часть ответа про сами банки, хотя ответ меняется очень сильно.
4. Выводы по этим 3 ответам:
Всего уникальных банков: 12 (ПСБ = Промсвязьбанк; Т‑Банк = Тинькофф; МКБ = Московский Кредитный Банк; «Кредит Банк Москвы» трактуем как МКБ).
Встречаются во всех трёх ответах (3 из 3): 10 из 12 = 83,3%.
- Сбербанк
- ВТБ
- Газпромбанк
- Россельхозбанк
- Промсвязьбанк (ПСБ)
- Альфа‑Банк
- Тинькофф (Т‑Банк)
- Совкомбанк
- МКБ (Московский Кредитный Банк)
- Росбанк
Встречаются в двух ответах (2 из 3): 0%.
- нет
Встречаются один раз (1 из 3): 2 из 12 = 16,7%.
- Райффайзенбанк
- ЮниКредит Банк
То есть, ответ варьируется, но ряд банков (ядро) — сохраняется.
Вариативность может быть и сильно выше, но когда мы усредняем по большому числу промптов, то тренд и общая картина меняются не сильно.
Иллюстрацию с вкладки «Конкуренты» из модуля AI-проектов Пиксель Тулс.
И это всего по 39 промптам, если же взять большую выборку — графики будут ещё менее волатильными.
- Виден лидер.
- Видны растущие и падающие бренды.
- Игроки не меняются местами каждый апдейт.
Выводы
- Вариативность ответа нейросети мешает анализировать присутствие бренда и конкурентов по тем промптам, которые интересуют бизнес, но не очень сильно.
- Аналогичная ситуация наблюдается и по результатам выдачи, и по рекламным объявлениям, и в целом в опросах ЦА.
- Для получения более объективной картины, необходимо расширять список промптов до тех пор, пока колебания видимости не станут комфортными. Лидер и аутсайдеры не должны меняться местами каждый апдейт, колебания должны носить плавный характер.
