Data-driven стероиды

для ускорения роста

современных цифровых

банковских сервисов

Никита Пустовойтов

Head of Data Science @ BCS Bank

1

О чем пойдет речь/для кого этот доклад

Не об алгоритмах –

не о том, как мы

придумали супер-алгоритм, который

улучшил AUC на 0.1

пункт

Не о моделях – как мы

заблендили тучу

моделей/алгоритмов

и не надорвались

поддерживать это в проде

А о связи Data Science и бизнеса:

1

2

3

4

5

6

7

Выбор «боли» бизнеса

Выбор постановки задачи

Оценка кейса

Выбор источников данных

Принятие решения – go/not go

Построение модели (goto kaggle-crackers)

Оценка эффекта реализованного кейса

Целевая

аудитория:

DS, работающие на

опер. бизнес

(не RnD ради RnD)

Бизнес-заказчики

3

Что такое Data Science

Междисциплинарная наука, использующая

методы Machine Learning, мат. статистики и

других областей математики и ComputerScience, для извлечения знаний и

закономерностей из данных с целью их

применения в бизнесе

Machine Learning

Business Analysis и

интерпретация результатов

Основы Big Data

Data Science

+

+

4

Data Science

ПрикладнойФундаментальный(*CompanyName* Research)

Используется напрямую в

операционных процессах1

Приносит измеримые деньги

в обозримой перспективе2

Часто новый источник данных и featureengineering дают больший эффект, чем

авторский алгоритм

3

• Увеличение прибыли

• Уменьшение расходов

• Уменьшение Cost/Income

Разработка новых алгоритмов и

технологий ради повышения

капитализации и т.д.

1

Важен факт создания/обладания

технологией2

Приносит отложенную прибыль3

Кого

привлекать?

Какие нужны

новые

экосистемы?

Как повышать

доход

с клиента?

Кого и как

удерживать?

Где

привлекать?

Как

привлекать?

Какие продукты

предлагать?

Какие тарифы

должны быть?

Как развивать

экосистему?

Что в нее

добавить?

Предоставление продуктов в экосистемы бизнесов

Применяется на протяжении всего жизненного цикла Клиента заказчика

Привлечение клиентов

Работа с новыми и

текущими клиентами

Data-driven консалтинг

5

Data Science — стероиды для бизнеса

6

Проблемы в стыковке с бизнесом

Незрелый заказчик

Неоправданные

ожидания от

технологии

«Siri вот со мной общается, а вы

поток клиентов в 10 раз не

можете мне увеличить с помощью

искусственного интеллекта?»

Фокус только на

верхней части

воронки

Отсутствие базовой

аналитики

(Не говоря уже о сквозной

аналитике)

Отсутствие расчета

юнит-экономики

Не всегда задачу

стоит решать

Например, нет смысла решать

Churn prediction без XSell/Next Best Action

Важно оценивать TCO кейса:

работа DS + затраты смежных

подразделений + затраты на

поддержку и сопровождение

Если объем клиентов

сейчас недостаточен для

сходимости экономики

кейса, то кто

инвестирует?

Сопоставимость

затрат

7

whoami

Forecsys

(Forecasting and Recognition Systems)

2006-2008 2008-2011

ColNet

(CEO, CTO)2010-2016

Сотрудничество с 1С (CTO/Архитектор)

2011-2014

DS-стартапы(CEO/CTO, инвестор)

2016-2018

Head of Data Science

DoubleData

2018

Head of Data Science

BCS Bank

2003-2009 2010-2015

2011-2013

ФУПМ МФТИ, Data Mining

Руководство

АТП ФИВТ МФТИ

Лектор АТП ФИВТ МФТИ по алгоритмам

Факультатив по машинному

обучению (развился в Data Mining in Action)

8

Структура ФГ БКС

Управление

благосостоянием

Ритейл

NeoBank

Команда Data Science**бизнес-юнит

9

- инновационный агрегатор предложений

Низкий процент выдач

Средний процент одобрения в

банках и МФО составляет

соответственно 55% и 22%

Недоверие

14% NPS (индекс

потребительской

лояльности)

Продуктов очень

много

9 765 625 000 000 000 000 000 000 000 000 000

000 предложений

Неопределенность

Среднее количество

подаваемых заявок находится

в диапазоне от 2 до 5

✓ Одобрим.ру — первый кредитный маркетплейс с банковской лицензией входит в группу БКС

✓ Запущен в 2018 году, 200 000+ человек уже стали клиентам сервиса

✓ Работает с 50+ ведущими банками и МФО. Более 150 продуктов в линейке

Вдохновившись концепциями лучших игроков на рынке в области сервиса и ритейла, мы сделали Одобрим.ру

Одобрим.ру исследовали рынок кредитных предложений с точки зрения потребителя и получили

разочаровывающие результаты: его можно охарактеризовать как сложный и непрозрачный

10

Выбрать кредит, как выбрать отель на booking.com

Сортировка по вероятности выдачи от модели DS

Предварительное решение

Онлайн-процесс

100% лидов проходятрегистрацию

Легальное согласие на БКИ

100% лидовподтверждают номер

телефона

>80% заполняют паспорт

96% паспортов —действительные ( СМЭВ )

11

Экономика проекта

0,00

0,50

1,00

1,50

2,00

2,50

3,00

3,50

4,00CPC, прогноз на Q’3COST

(источники трафика)

INCOME

Органический (бесплатный, но неконтролируемый) -недостаточно, ввиду молодости проекта

Платный (масштабируется пропорционально стоимости,

зависит от рыночной среды)

Комиссия за привлечение (cost)Adsense (cost)

Партнерский

Доля от выручки

Нет стартовой стоимости, но общий доход ниже

На ранних этапах сложно найти партнера

Оплата за целевое действие:

Одобрение со

стороны банкаВыдача клиенту

утвержденной суммы

12

Рекламные площадки

KYTA — Know Your Target Audience

Источники сегментного трафика

Лиды

CR из заявки

в выдачу

Инициативы DS на этапах воронки Одобрим.ру

Витрина

Выдача

кредита

CR из трафика

в заявку

Платформа с правильными

лендингами

Догоняющая рассылка

Модель

оптимальной

сортировки

предложений

(МПР)

1. »Большой партнер»

2. DMP-платформы

3. Сегменты в рекламном кабинете

Каналы, СМИ, селебрити,

тематические сообщества

VK, MyTarget, Yandex, Google

1. Данные из соцсетей

2. БКИ

3. Переменные из

DMP-платформ

4. Модель дефолта

(свой скоринг)

5. Модель одобрения

Подбор площадок Креативы

13

Ключевые особенности для Data Science и Odobrim

Сквозная конверсия из

трафика в выдачу < 1%

Cost/Income на старте

очень высокий

Доля мобильного трафика > 80% - попадают

только первые предложения с витрины

Период между поданной заявкой и

уведомлением о выдаче - 55 дней

Cost/Income влияет на масштабирование:

• при значении показателя >1 бизнесу не выгодно

масштабирование ввиду больших потерь

• при низком трафике мало возможностей для

проведения машинного обучения

• модель перестает быть объективной

Длительность процесса реализации на проде

ввиду корпоративной и банковской специфики

14

Кейса 1: Сегменты для онлайн-привлечения

Требуется партнер,

который может

предоставлять

идентификаторы,

интегрирующиеся в

сервисы управления

рекламными

кампаниями:

Чувствительный ко

времени сигнал о

готовности пользователя

взять кредит

Цель: найти сегменты большого объема с хорошей конверсией в выдачу

У нашего

партнера такого

сигнала не

было

2 типа рекламы:

• платное привлечение

(пользователь уже находится

в поиске кредита)

• привлечение с рекламных

площадок Adsense/Yandex

Расходы:

• оплата партнерам,

предоставляющим

данные

• ФОТ команды DS, которая сделает

сегменты

• маркетинговый бюджет

15

Сегменты: пример юнит-экономики

Но если:

* вам удастся найти партнера с временным сигналом

или

* есть прямой контакт с пользователем (CTR ЦА > 80%)– кейс может стать успешным!

10M клиентской

базы(взрослое население

России ~ 100M)

4M имеют

высокую вероятность

одобрения кредита

1M имеют

идентификационные

атрибуты

0.8M имеют

актуальные данные

Много ли из них хотят

взять кредит на этой

неделе? 3-5%

Какой CTR у

объявлений? 2.5-7.5%400-800целевых действий

в год

1-3 млн.прибыль

наибольшие потери – между

трафиком и одобренной заявкой Бизнес убыточенплатим партнеру минимум за 1М

идентификаторов

40 000трафик

*

*

16

Онлайн-привлечение – чему мы научились

Для массового сервиса привлекать сегментами, использующими слабо-динамические

признаки, неэффективно

Либо клиенты должны быть

высоко-маржинальнымиЛибо признаки должны иметь

ярко выраженные временные

признаки

Либо для привлечения

использовать другие «ручки»

рекламного кабинета

(a-la K50/Origami)

17

Кейс 2: Сервис сортировки предложений

Отсутствуют промежуточные

статусы (например, видно только оплаченных

клиентов и не видно тех, кому

одобрили)

Процесс первой интеграции на

проде занимает 3+ месяца (невозможность интеграции без

подтвержденного эффекта)

Низкая итоговая конверсия,

дисбаланс классов (из-за малого количества выдач

относительно трафика)

Построение дополнительных

моделей

Использование иных каналов

для тестирования (СМС)

Борьба с выбросами, веса

объектов, выбор признаков и

борьба с переобучением

1 2 3

Оптимальный подход к сортировке предложений - по вероятности целевого действия:

18

• Кредитные рейтинги и

кредитная история

• Анкета пользователя

• UTM метки

• Поведение на сайте

• Операторы сотовой

связи

• Внешние провайдеры

данных

После внедрения на

Одобрим.ру CR из

зарегистрированного

пользователя в заявку

вырос на 40%

Данные Bankiros.ru

Рост конверсий на сайте

Bankiros.ru после установки

виджета Одобрим.ру с Моделью

принятия решений DS

Возможность

изменения клиентского

пути для части

пользователей (кредит

наличными -> микрозайм)

Сервис сортировки предложений – что получилось

В результате изменилась стратегия, был сделан упор на White Label, стали появляться партнеры

1 Большой набор

данных2 3 По нашим оценкам, конверсия

из заявки в выдачу лучше,

чем у конкурентов

4

19

Как оценить качество?

1

Мониторинг

онлайн

Онлайн-процесс, кибана, дашборды

32

Очень много факторов

влияет на поведение

пользователей

«Кого привлекли – маркетинг

каждый день меняет РК»

«Как изменился пользовательский путь на

площадке – команда разработки не спит!»

A/B-тестированиеБез него определить влияние

эффекта от модели нереально

20

Сервис сортировки – как еще можно «заработать»

Шаг 1 Шаг 2 Шаг 3

Начальный этап Цепочка вызова моделей Как еще можно сэкономить?

Сделали набор моделей на

разных источниках данных

Запрос внешних

данных (типа БКИ)

стоит денег

В зависимости от наличия

данных по посетителю

срабатывают разные цепочки-лесенки

Как можно

сэкономить?

Можно предсказывать

скоры БКИ

MAE ~ 10-13

операционные косты

снижаются на 10-20%

Можно замкнуть круг и сделать свои скоры на дефолт, которые продавать банкам

21

Проблема /

Боль партнеров

• У кредитных лидогенераторов (например, Одобрим.ру) накапливается

значительная база пользователей

• Воникает потребность в дополнительной монетизации старых/ холодных

пользователей

• Присутствует непоределенность отностительно продуктового

предложения для данных клиентов (что им сейчас предложить?)

Решение для

партнеров

• Текущая база пользователей разбивается на сегменты в соотвествии с

гипотезами

• Модель принятия решений определяет какой из имеющихся продуктов

наилучшим образом подойдет под конкретного пользователя

Результат

• Конверсия из отправленной СМС в заявку ~7%

• Cost/ Income ratio: от 20% до 80% в зависимости от сегмента

• Выручка +10% (относительно общей выручки сервиса)

Модель принятия решений улучшает пост-продажу

кредитных продуктов

22

Кейс 3: анализ и выявление целевых пользователей (1/2)

Анализ пользователей по интересам в различных разрезах

Примеры анализа Рекомендации

Пользователи смещены в

сторону «молодой»

аудитории (младше 30 лет)

Среди пользователей больше мужской

аудитории, чем женской, однако различие

незначительное

Изменение каналов

перфоманс / SEO

Таргетированный подход к

предложению товаров / услуг на

основе возраста и пола

Таргетинг партнеров с целевыми

клиентами (например, размещение

рекламных материалов)

51%

49%

male female

23

Кейс 3: анализ и выявление целевых пользователей (2/2)

Анализ пользователей по интересам в различных разрезах

Донастройка рекламных

кампаний путем учета

целевых интересов

Таргетированный подход к

предложению товаров / услуг

Таргетинг партнеров с

целевыми клиентами

(например, размещение

рекламных материалов)

Примеры анализа Рекомендации

Пользователи из группы

«Займы» больше

интересуются зеленой

группой категорий, чем

пользователи из группы «КН»

Наоборот, пользователи из

группы «КН» больше

интересуются красной

группой категорий, чем

пользователи из группы

«Займы»

Конверсия в заявку +X%Стоимость заявки -X%

Конверсия в открытие счета +X%Стоимость клиента -X%

Трафик на сайт +X%

Открытые счета (клиенты)

+X%

DS

KYTAОнлайн-привлечение

Подбор площадок

Заявки на открытие счета (лиды) +X%

KYTAОнлайн-привлечение

Улучшение конверсии

On-line аудитория

Увеличение охвата целевой аудитории

= Прибыль

+X% +X%

DSKYTAСегментация

Конверсия агента+0,X клиента в мес.

Конверсия в открытие счета +7%

Трафик на агентский портал

+XX%

Открытые счета (клиенты) +X%

Заявки на открытие счета (лиды) +XX%

Скорингпартнерских баз

Увеличение скорости привлечения агентов +XX%

DS

Агентский канал

Увеличение конверсии партнерских баз +XX%

DS

DSПовышение качества скоринга

Склонность к продуктамМаршрутизация входящих заявок

DS

Привлечение на совместные продукты партнеров

DS

DS DS

On-line OutstaffOn-line

партнерыOff-line

партнеры

Клиенты

Off-line

DSKYTA

Разработка новых продуктов

DS

ТарификацияСклонность к продуктам

Подбор партнеров для лояльности

х х Время жизни клиента

Ежемесячная прибыль с клиента

DS

Upsale / Crossale

DS

Прогноз LTVПредсказание оттока

Data Science –стероиды для бизнеса

Приоритизациясписка пот. клиентовМетчинг пар агент <-> клиент

DS

Активные агенты

On-line партнеры Off-line партнеры

Продукты

26

Прескоринг баз Сферы

Проверять компании на предмет прохождения

скоринга с помощью DS до

коммуникации с ними - прескоринг -и передавать в колл-центр «хорошие» компании

Значительная часть лидов на открытие счета,

привлекаемая через оффлайн-каналы

(в основном телемаркетинг), не проходят скоринг

банка и получают отказ в открытии счета

Эффект (АБ-тест)

Снижение стоимости открытого счета

(клиента):

минимум – на 10-20%максимум – в 3 – 4 раза (до 75%)

(в зависимости от качества базы контактов)

Телемаркетинг стал рентабельным

(оплата за лид)

ИНН компании признаки из

открытых

источников

Микросервис

прескоринга + доп.проверки

Результат проверок:

хороший / плохой клиент