“Атличнаи дивчачьи каньки”: исправляем ошибки....

Помогаем пользователям Андрей Смирнов

1

Зачем это всё?

Надо ли помогать пользователям?

Надо

2

Помощь при поиске

— Подсказки при вводе поискового запроса..

— Исправление раскладки

— Исправление ошибок

— Исправление раскладки и ошибки

— Разбиение на слова

— Лишние слова.

3

4

Помогаем п(р?)одающим

— Много, очень много объявлений с ошибками

— Собираем популярные ошибки, и учитываем их при индексации

5

6

Стопслова.

— Некоторые товары нельзя продавать. наркотики, людей

— Мат, в подсказках некрасиво. Вычеркиваем о%;ительный

— Нерелевантные слова. вообще, был, для

7

Выбор морфологии.

— Зачем приводить к нормальной форме

— Soundex, Metaphone

— Stemmer

— Lemmatizer

8

Словоформы.

— Опечатки Былочка

— Синонимы

Плюшка, Пышка, Розанчик, Слойка, Бриошь, Кокура, Бриош,

Гугель, Маффин

— Сленг регионов. шаверма, шаварма, шаурма

— Тематический сленг Автомобильные запчасти, кошечки..

— Транслитерация bulka, bulca

— Ошибки лемматайзера9

Подготовка текста

— Парсим наши большие индексы. Раскладываем по категориям

— Удаляем дубликаты. Они испортят общую картину.

— Чистим сами слова, лишние символы

— Нормализуем входные слова, убирает стопслова

10

Подготовка данных

— Загружаем все слова в sphinx. без стемминга и лематизации.

— Выгружаем частотности слов

— Генерим новый индекс. Слово, Нормализированное слово, слово в

другой раскладке, частотность, биграммы

— Загружаем все слова в word2vec. Генерим большой пребольшой граф.

11

Прогон

— Выбираем наиболее частотные слова.

— Частотность первых 15% слов составляет 80% от частотности всех слов.

— Конструируем формулу для автоматической выборки пар.

— Сила связи между словами из вектора.(из вектора word2vec)

— Коэффициент похожести слов. (из N-gramm, Д-Левенштей, учитывается смена раскладки)

— Логарифм от частотности в тексте

— Получаем много и много пар слов.

12

Bag-of-wordsтормоз

ножной 0.905975

незавимсимый 0.885751

тросиков 0.868641

стояночный 0.867629

vтормоза 0.851434

троссиковой 0.845943

гидравлич 0.839933

тормозколесо 0.83949

easystop 0.833925

тектро 0.833664

самоискатель 0.828096

тормозной 0.826122

caliper 0.826041

пожвижные 0.825819

прямоехать 0.824853

тормозапередний0.821059

торомоз

тормоз 0.781977

pushpush 0.755649

незавимсимый 0.748093

ругулятор 0.747481

осистояночный 0.744312

стоянойный 0.743994

сахтросиковой 0.741415

самх 0.74106

задниепередняя 0.734304

поворотныеманевренный0.734046

ручын 0.733179

поворотностопорный 0.730534

троссиков 0.728075

мамыш 0.726821

пожвижные 0.726676

асортизатор 0.721914

тормаз

тормоз 0.806569

хорошиенадувной 0.779151

стопколяска 0.759566

ругулятор 0.749028

pushpush 0.741626

единственый 0.738707

перекладинапедалька0.737508

пожвижные 0.73588

блакироваться 0.73063

тормозколесо 0.730521

плавующий 0.729905

нафиксатор 0.726576

тормозручка 0.724633

тормозомпланка 0.723524

тросиков 0.723105

тормозручной 0.720761

13

Skip-gramтормоз

торомоз 0.776441

тормаз 0.766608

просторнаяручка 0.750774

томоз 0.714225

тормозкорзина 0.707341

тормозколесо 0.690314

тормозомпланка 0.668233

тормозесть 0.658294

тормозфиксатор 0.654067

тормозблокиратор 0.640565

дискахцентральный 0.639764

стальтормоз 0.634496

тормозапередний 0.631227

поверхностьюножной0.629615

тормозскладываться 0.6179

колесахудобный 0.611964

торомоз

тормоз 0.776441

тормаз 0.674317

просторнаяручка 0.658775

тормозколесо 0.653706

асортизатор 0.630608

томоз 0.622021

тормозкорзина 0.615997

тормозапередний 0.59914

тормозомпланка 0.590222

тормаз

тормоз 0.766608

торомоз 0.674317

тормозколесо 0.628059

тормозомпланка 0.619644

тормозафиксатор 0.61739

тормозскладываться0.599998

14

Проверка

— Проверяем только большие индексы

— Поднимаем рядом два индекса

— Получаем их монги логи запросов.

— Если стало сильно лучше или сильно хуже смотрим глазами

15

Популярные опечатки

комбинезон71

компьютер 61

запчасть 54

hakkapelliita34

mitsubishi 28

комплект 28

hyundai 28

vw 2716

камбенезон камбинезон камбинизон кимбинезон кобинезон

кобминезон комбенезон комбензон комбиезон комбиензон

комбимнезон комбинедзон комбинезан комбинезин

комбинензон комбинзон комбинизон комбинозон

комбиньзон комбмнезон комбнезон комбтнезон

комибинезон коминезон коммбинезон комьинезон

конбенезон конбинезон

17

Вопросы?sphinx@t0t.ru

18