Architechture of a social network for 30M users

Интересно? Заходи на http://job.fotostrana.ru 1 из 50

Архитектура проекта на 30М пользователей


Фотострана?Не, не слышал.


— 35 000 000 зарегистрированных пользователей

— 1 500 000 уникальных посетителей в день.

— Больше 150 человек в команде

— Входим в ТОП-20 сайтов рунета


О чем расскажу?

• Общая архитектура и платформа• Используемые технологии• Обработка запросов• Отдача статики• Хранение данных• Мониторинг


Общие цифры

• Один дата-центр• Более 200 физических серверов• В пике суммарный трафик больше 3 Гбит/c• 70 Мб PHP кода• 3 Гб статики


Разработка

• PHP, в основе лежал Zend Framework• C(++) демоны и модули для PHP• SVN (есть проблемы, хотим Git)• Google Docs• Redmine• Fisheye• Asana


Платформа

• FreeBSD (местами Debian Linux)• nginx• Apache + mod_php + APC• Memcached• Percona server• Собственные демоны


Железо

• Средний сервер: 2 Xeon 16Gb RAM• Сеть на Juniper• 300 Гб кластер memcached• 650 Гб базы данных MySQL• 750 Гб данных в памяти демонов • 50 Тб для хранения фотографий• SSD где необходимо• Сервера узкоспециализированные


Релизы

• Деплой раз в час (~30 секунд на 130 серверов)

• Есть QA отдел, но фактически тестирования практически нет

• Новый функционал выкатываем на часть пользователей

• PHP ошибки приходят в skype их автору


Мониторинг

• Nagios + Cacti• Самописные модули мониторинга• Самописная система профилирования кода

и запросов• Много смс уведомлений• Бизнес статистика/аналитика для

менеджеров сервисов


Резервное копирование

• БД 3 раза в день• Демоны каждые 2 часа• Пользовательские фотографии раз в сутки


Обработка запросов



Нет разбиения на группы

Питомцы, профили, поиск…


Есть разбиение на группы

Питомцы Профили Поиск


• 130 PHP серверов• 2.500 req/s• Среднее время

ответа 0.06 сек


Управление серверами


Отдача статики

• Наша статика (css, js, swf, jpg…) из svn

• Пользовательский контент (аватарки, фотки, превьюшки) – “Фотосхема”


Содержимое статики:• 800 css• 750 js• 3200 swf• 48000 image

• 5000 req/s• >1 Гбит/сек трафика в пике

} 3 Гигабайта


Сервер определяется

на стороне PHP кода

по IP клиента




Интересное

• Контроль версий статический файлов• Пробовали привязывать пользователей по

географическому признаку• Lazyloader для динамической подгрузки js и

css• 5 виртуальных субдоменов на каждый

сервер


Фотосхема

• 14 Тб - объем пользовательских фотографий• +60 Гб (или 250.000) фотографий в сутки

• 4000 req/s• >850 Мбит/сек трафика в пике

Интересно? Заходи на http://job.fotostrana.ru

Фотосхема

25 из 50



• Проблема холодного старта• Файлы реально удаляются с диска


Хранение данных

• MySQL• Memcached• Lemon – самописное key-value хранилище• Демоны на C++


картинка про alter таблички на 30кк записей (15Гбайт)

• 14 серверов• 100.000 / мин SELECT• 40.000 / мин UPDATE

MySQL



• Можем на живую менять схему БД• Используем pconnect• Не используем транзакции• Не используем JOIN и вторичные ключи• Нет шардинга• Особое внимание индексам и адекватности

запросов


Управление репликами


• 5 серверов• 300 Гбайт RAM• 32.000 req/s

Memcached



• Это не хранилище данных!• 90% данных – кэш выборок из базы как есть• Использовали ketama, отказались• Рестарт сервера раз в несколько месяцев• Локи на memcached::add


MySQL плохо делает 3 вещи:

• Удаление большого количества данных

• Очень частые изменения данных

• Частые выборки

Подходим к NoSQL


Решение – NoSQL.

Lemon

Lemon:• Простое key-value хранилище• Все данные в памяти• Периодический дамп данных на диск• key = (string namespace, int64 key)• Шардинг как запуск нескольких независимых инстансов, namespace привязан к серверу.


Время обработки запроса


Демоны

Что сделали:• Модуль PHP для взаимодействия с демонами• Разработали протокол взаимодействия• Своя бинарная сериализация данных

Всего разных демонов больше 30:• Гости, контакты, мессенджер, питомцы, поиск,

встречи, голосвание, нотификации…


Пример: демон гостей<?$guests->call(‘add_guest’, array(

$toUserId,$guestId,$source,

));$list = $guests->call(‘get_guest_list’, array(

$forUserId, $limit,

$offset,)); // $list = array(array(guestId, time, source), …)


HTTP демоны-серверы

/chat/?userId=123/user/123


• Быстрее PHP, в 10 раз!• > 50% запросов на балансер попадают к

демонам• Всего 7 серверов

HTTP демоны


Мониторинг

• Профилирование PHP кода, запросов в БД, memcache и других источников данных

• Единая система бизнес статистики для менеджеров сервисов


Профилирование - CStat• Модуль для PHP• Все данные в разделяемой памяти• Сбор данных со всех серверов (по крону) и сохранение в БД• Похожа на pinba и XHprof

Пример: <?CStatStartUrl($requestUrl);// some codeCStatStopUrl($isError);

CStatStartDB($mode, $dbName, $_method, $table);// execute mysql_queryCStatStopDB($isError, $rowCount);


Статистика по URL


Кол-во запросов по URL


Профайлер для разработчика


Статистика• Реализована на очередях в разделяемой памяти (на каждом PHP

сервере)• Сбор данных из очереди со всех серверов (по крону) и их обработка• Минимальное влияние на производительность скрипта• История значений хранится в базе в нескольких таблицах, где они

сгруппированы по периоду (час, день, месяц).• Есть возможность считать уников (например кол-во уникальных

пользователей загрузивших сегодня фотографии)

С точки зрения разработчика: <?Statistics::increment($statsType, $userId, $field, $value);

// Statistics::increment(MAIN_STATS, 2407325, ‘photos_upload_count’, 18);


SharedQueue серверРеализация очереди сообщений в оперативной памяти.

• Демон на скриптовом сервере• Модуль для PHP• На данный момент 200 очередей

Методы <?$result = SharedQueue::push($queueIndex, $data);

$allData = SharedQueue::popAll($queueIndex, $serverList);


Интерфейс статистики


Интерфейс статистики


Подводя итоги

• Нет преждевременной оптимизации• Нет трендам, да цифрам• Не бойтесь экспериментировать• Проверяйте все сами• Включайте мозг


Вопросы

Спасибо за внимание!

Internet

Architechture of a social network for 30M users