View
2
Download
0
Category
Preview:
Citation preview
Data-driven стероиды
для ускорения роста
современных цифровых
банковских сервисов
Никита Пустовойтов
Head of Data Science @ BCS Bank
1
О чем пойдет речь/для кого этот доклад
Не об алгоритмах –
не о том, как мы
придумали супер-алгоритм, который
улучшил AUC на 0.1
пункт
Не о моделях – как мы
заблендили тучу
моделей/алгоритмов
и не надорвались
поддерживать это в проде
А о связи Data Science и бизнеса:
1
2
3
4
5
6
7
Выбор «боли» бизнеса
Выбор постановки задачи
Оценка кейса
Выбор источников данных
Принятие решения – go/not go
Построение модели (goto kaggle-crackers)
Оценка эффекта реализованного кейса
Целевая
аудитория:
DS, работающие на
опер. бизнес
(не RnD ради RnD)
Бизнес-заказчики
3
Что такое Data Science
Междисциплинарная наука, использующая
методы Machine Learning, мат. статистики и
других областей математики и ComputerScience, для извлечения знаний и
закономерностей из данных с целью их
применения в бизнесе
Machine Learning
Business Analysis и
интерпретация результатов
Основы Big Data
Data Science
+
+
4
Data Science
ПрикладнойФундаментальный(*CompanyName* Research)
Используется напрямую в
операционных процессах1
Приносит измеримые деньги
в обозримой перспективе2
Часто новый источник данных и featureengineering дают больший эффект, чем
авторский алгоритм
3
• Увеличение прибыли
• Уменьшение расходов
• Уменьшение Cost/Income
Разработка новых алгоритмов и
технологий ради повышения
капитализации и т.д.
1
Важен факт создания/обладания
технологией2
Приносит отложенную прибыль3
Кого
привлекать?
Какие нужны
новые
экосистемы?
Как повышать
доход
с клиента?
Кого и как
удерживать?
Где
привлекать?
Как
привлекать?
Какие продукты
предлагать?
Какие тарифы
должны быть?
Как развивать
экосистему?
Что в нее
добавить?
Предоставление продуктов в экосистемы бизнесов
Применяется на протяжении всего жизненного цикла Клиента заказчика
Привлечение клиентов
Работа с новыми и
текущими клиентами
Data-driven консалтинг
5
Data Science — стероиды для бизнеса
6
Проблемы в стыковке с бизнесом
Незрелый заказчик
Неоправданные
ожидания от
технологии
«Siri вот со мной общается, а вы
поток клиентов в 10 раз не
можете мне увеличить с помощью
искусственного интеллекта?»
Фокус только на
верхней части
воронки
Отсутствие базовой
аналитики
(Не говоря уже о сквозной
аналитике)
Отсутствие расчета
юнит-экономики
Не всегда задачу
стоит решать
Например, нет смысла решать
Churn prediction без XSell/Next Best Action
Важно оценивать TCO кейса:
работа DS + затраты смежных
подразделений + затраты на
поддержку и сопровождение
Если объем клиентов
сейчас недостаточен для
сходимости экономики
кейса, то кто
инвестирует?
Сопоставимость
затрат
7
whoami
Forecsys
(Forecasting and Recognition Systems)
2006-2008 2008-2011
ColNet
(CEO, CTO)2010-2016
Сотрудничество с 1С (CTO/Архитектор)
2011-2014
DS-стартапы(CEO/CTO, инвестор)
2016-2018
Head of Data Science
DoubleData
2018
Head of Data Science
BCS Bank
2003-2009 2010-2015
2011-2013
ФУПМ МФТИ, Data Mining
Руководство
АТП ФИВТ МФТИ
Лектор АТП ФИВТ МФТИ по алгоритмам
Факультатив по машинному
обучению (развился в Data Mining in Action)
8
Структура ФГ БКС
Управление
благосостоянием
Ритейл
NeoBank
Команда Data Science**бизнес-юнит
9
- инновационный агрегатор предложений
Низкий процент выдач
Средний процент одобрения в
банках и МФО составляет
соответственно 55% и 22%
Недоверие
14% NPS (индекс
потребительской
лояльности)
Продуктов очень
много
9 765 625 000 000 000 000 000 000 000 000 000
000 предложений
Неопределенность
Среднее количество
подаваемых заявок находится
в диапазоне от 2 до 5
✓ Одобрим.ру — первый кредитный маркетплейс с банковской лицензией входит в группу БКС
✓ Запущен в 2018 году, 200 000+ человек уже стали клиентам сервиса
✓ Работает с 50+ ведущими банками и МФО. Более 150 продуктов в линейке
Вдохновившись концепциями лучших игроков на рынке в области сервиса и ритейла, мы сделали Одобрим.ру
Одобрим.ру исследовали рынок кредитных предложений с точки зрения потребителя и получили
разочаровывающие результаты: его можно охарактеризовать как сложный и непрозрачный
10
Выбрать кредит, как выбрать отель на booking.com
Сортировка по вероятности выдачи от модели DS
Предварительное решение
Онлайн-процесс
100% лидов проходятрегистрацию
Легальное согласие на БКИ
100% лидовподтверждают номер
телефона
>80% заполняют паспорт
96% паспортов —действительные ( СМЭВ )
11
Экономика проекта
0,00
0,50
1,00
1,50
2,00
2,50
3,00
3,50
4,00CPC, прогноз на Q’3COST
(источники трафика)
INCOME
Органический (бесплатный, но неконтролируемый) -недостаточно, ввиду молодости проекта
Платный (масштабируется пропорционально стоимости,
зависит от рыночной среды)
Комиссия за привлечение (cost)Adsense (cost)
Партнерский
Доля от выручки
Нет стартовой стоимости, но общий доход ниже
На ранних этапах сложно найти партнера
Оплата за целевое действие:
Одобрение со
стороны банкаВыдача клиенту
утвержденной суммы
12
Рекламные площадки
KYTA — Know Your Target Audience
Источники сегментного трафика
Лиды
CR из заявки
в выдачу
Инициативы DS на этапах воронки Одобрим.ру
Витрина
Выдача
кредита
CR из трафика
в заявку
Платформа с правильными
лендингами
Догоняющая рассылка
Модель
оптимальной
сортировки
предложений
(МПР)
1. »Большой партнер»
2. DMP-платформы
3. Сегменты в рекламном кабинете
Каналы, СМИ, селебрити,
тематические сообщества
VK, MyTarget, Yandex, Google
1. Данные из соцсетей
2. БКИ
3. Переменные из
DMP-платформ
4. Модель дефолта
(свой скоринг)
5. Модель одобрения
Подбор площадок Креативы
13
Ключевые особенности для Data Science и Odobrim
Сквозная конверсия из
трафика в выдачу < 1%
Cost/Income на старте
очень высокий
Доля мобильного трафика > 80% - попадают
только первые предложения с витрины
Период между поданной заявкой и
уведомлением о выдаче - 55 дней
Cost/Income влияет на масштабирование:
• при значении показателя >1 бизнесу не выгодно
масштабирование ввиду больших потерь
• при низком трафике мало возможностей для
проведения машинного обучения
• модель перестает быть объективной
Длительность процесса реализации на проде
ввиду корпоративной и банковской специфики
14
Кейса 1: Сегменты для онлайн-привлечения
Требуется партнер,
который может
предоставлять
идентификаторы,
интегрирующиеся в
сервисы управления
рекламными
кампаниями:
Чувствительный ко
времени сигнал о
готовности пользователя
взять кредит
Цель: найти сегменты большого объема с хорошей конверсией в выдачу
У нашего
партнера такого
сигнала не
было
2 типа рекламы:
• платное привлечение
(пользователь уже находится
в поиске кредита)
• привлечение с рекламных
площадок Adsense/Yandex
Расходы:
• оплата партнерам,
предоставляющим
данные
• ФОТ команды DS, которая сделает
сегменты
• маркетинговый бюджет
15
Сегменты: пример юнит-экономики
Но если:
* вам удастся найти партнера с временным сигналом
или
* есть прямой контакт с пользователем (CTR ЦА > 80%)– кейс может стать успешным!
10M клиентской
базы(взрослое население
России ~ 100M)
4M имеют
высокую вероятность
одобрения кредита
1M имеют
идентификационные
атрибуты
0.8M имеют
актуальные данные
Много ли из них хотят
взять кредит на этой
неделе? 3-5%
Какой CTR у
объявлений? 2.5-7.5%400-800целевых действий
в год
1-3 млн.прибыль
наибольшие потери – между
трафиком и одобренной заявкой Бизнес убыточенплатим партнеру минимум за 1М
идентификаторов
40 000трафик
*
*
16
Онлайн-привлечение – чему мы научились
Для массового сервиса привлекать сегментами, использующими слабо-динамические
признаки, неэффективно
Либо клиенты должны быть
высоко-маржинальнымиЛибо признаки должны иметь
ярко выраженные временные
признаки
Либо для привлечения
использовать другие «ручки»
рекламного кабинета
(a-la K50/Origami)
17
Кейс 2: Сервис сортировки предложений
Отсутствуют промежуточные
статусы (например, видно только оплаченных
клиентов и не видно тех, кому
одобрили)
Процесс первой интеграции на
проде занимает 3+ месяца (невозможность интеграции без
подтвержденного эффекта)
Низкая итоговая конверсия,
дисбаланс классов (из-за малого количества выдач
относительно трафика)
Построение дополнительных
моделей
Использование иных каналов
для тестирования (СМС)
Борьба с выбросами, веса
объектов, выбор признаков и
борьба с переобучением
1 2 3
Оптимальный подход к сортировке предложений - по вероятности целевого действия:
18
• Кредитные рейтинги и
кредитная история
• Анкета пользователя
• UTM метки
• Поведение на сайте
• Операторы сотовой
связи
• Внешние провайдеры
данных
После внедрения на
Одобрим.ру CR из
зарегистрированного
пользователя в заявку
вырос на 40%
Данные Bankiros.ru
Рост конверсий на сайте
Bankiros.ru после установки
виджета Одобрим.ру с Моделью
принятия решений DS
Возможность
изменения клиентского
пути для части
пользователей (кредит
наличными -> микрозайм)
Сервис сортировки предложений – что получилось
В результате изменилась стратегия, был сделан упор на White Label, стали появляться партнеры
1 Большой набор
данных2 3 По нашим оценкам, конверсия
из заявки в выдачу лучше,
чем у конкурентов
4
19
Как оценить качество?
1
Мониторинг
онлайн
Онлайн-процесс, кибана, дашборды
32
Очень много факторов
влияет на поведение
пользователей
«Кого привлекли – маркетинг
каждый день меняет РК»
«Как изменился пользовательский путь на
площадке – команда разработки не спит!»
A/B-тестированиеБез него определить влияние
эффекта от модели нереально
20
Сервис сортировки – как еще можно «заработать»
Шаг 1 Шаг 2 Шаг 3
Начальный этап Цепочка вызова моделей Как еще можно сэкономить?
Сделали набор моделей на
разных источниках данных
Запрос внешних
данных (типа БКИ)
стоит денег
В зависимости от наличия
данных по посетителю
срабатывают разные цепочки-лесенки
Как можно
сэкономить?
Можно предсказывать
скоры БКИ
MAE ~ 10-13
операционные косты
снижаются на 10-20%
Можно замкнуть круг и сделать свои скоры на дефолт, которые продавать банкам
21
Проблема /
Боль партнеров
• У кредитных лидогенераторов (например, Одобрим.ру) накапливается
значительная база пользователей
• Воникает потребность в дополнительной монетизации старых/ холодных
пользователей
• Присутствует непоределенность отностительно продуктового
предложения для данных клиентов (что им сейчас предложить?)
Решение для
партнеров
• Текущая база пользователей разбивается на сегменты в соотвествии с
гипотезами
• Модель принятия решений определяет какой из имеющихся продуктов
наилучшим образом подойдет под конкретного пользователя
Результат
• Конверсия из отправленной СМС в заявку ~7%
• Cost/ Income ratio: от 20% до 80% в зависимости от сегмента
• Выручка +10% (относительно общей выручки сервиса)
Модель принятия решений улучшает пост-продажу
кредитных продуктов
22
Кейс 3: анализ и выявление целевых пользователей (1/2)
Анализ пользователей по интересам в различных разрезах
Примеры анализа Рекомендации
Пользователи смещены в
сторону «молодой»
аудитории (младше 30 лет)
Среди пользователей больше мужской
аудитории, чем женской, однако различие
незначительное
Изменение каналов
перфоманс / SEO
Таргетированный подход к
предложению товаров / услуг на
основе возраста и пола
Таргетинг партнеров с целевыми
клиентами (например, размещение
рекламных материалов)
51%
49%
male female
23
Кейс 3: анализ и выявление целевых пользователей (2/2)
Анализ пользователей по интересам в различных разрезах
Донастройка рекламных
кампаний путем учета
целевых интересов
Таргетированный подход к
предложению товаров / услуг
Таргетинг партнеров с
целевыми клиентами
(например, размещение
рекламных материалов)
Примеры анализа Рекомендации
Пользователи из группы
«Займы» больше
интересуются зеленой
группой категорий, чем
пользователи из группы «КН»
Наоборот, пользователи из
группы «КН» больше
интересуются красной
группой категорий, чем
пользователи из группы
«Займы»
Конверсия в заявку +X%Стоимость заявки -X%
Конверсия в открытие счета +X%Стоимость клиента -X%
Трафик на сайт +X%
Открытые счета (клиенты)
+X%
DS
KYTAОнлайн-привлечение
Подбор площадок
Заявки на открытие счета (лиды) +X%
KYTAОнлайн-привлечение
Улучшение конверсии
On-line аудитория
Увеличение охвата целевой аудитории
= Прибыль
+X% +X%
DSKYTAСегментация
Конверсия агента+0,X клиента в мес.
Конверсия в открытие счета +7%
Трафик на агентский портал
+XX%
Открытые счета (клиенты) +X%
Заявки на открытие счета (лиды) +XX%
Скорингпартнерских баз
Увеличение скорости привлечения агентов +XX%
DS
Агентский канал
Увеличение конверсии партнерских баз +XX%
DS
DSПовышение качества скоринга
Склонность к продуктамМаршрутизация входящих заявок
DS
Привлечение на совместные продукты партнеров
DS
DS DS
On-line OutstaffOn-line
партнерыOff-line
партнеры
Клиенты
Off-line
DSKYTA
Разработка новых продуктов
DS
ТарификацияСклонность к продуктам
Подбор партнеров для лояльности
х х Время жизни клиента
Ежемесячная прибыль с клиента
DS
Upsale / Crossale
DS
Прогноз LTVПредсказание оттока
Data Science –стероиды для бизнеса
Приоритизациясписка пот. клиентовМетчинг пар агент <-> клиент
DS
Активные агенты
On-line партнеры Off-line партнеры
Продукты
26
Прескоринг баз Сферы
Проверять компании на предмет прохождения
скоринга с помощью DS до
коммуникации с ними - прескоринг -и передавать в колл-центр «хорошие» компании
Значительная часть лидов на открытие счета,
привлекаемая через оффлайн-каналы
(в основном телемаркетинг), не проходят скоринг
банка и получают отказ в открытии счета
Эффект (АБ-тест)
Снижение стоимости открытого счета
(клиента):
минимум – на 10-20%максимум – в 3 – 4 раза (до 75%)
(в зависимости от качества базы контактов)
Телемаркетинг стал рентабельным
(оплата за лид)
ИНН компании признаки из
открытых
источников
Микросервис
прескоринга + доп.проверки
Результат проверок:
хороший / плохой клиент
Recommended