Умный дедупликатор ключевых фраз онлайн — удалить дубли из списка
Чистит ядро от дублей по вашим правилам: регистр, пробелы, порядок слов. Первая формулировка фразы остаётся нетронутой.
Допустим, ядро собрано из нескольких выгрузок. Двенадцать тысяч строк. Половина повторяет друг друга: где-то лишний пробел, где-то заглавная буква, где-то слова переставлены местами. Excel снимает только точные повторы, поэтому «купить диван» и «диван купить» он оставит обе.
Дедупликатор ключевых фраз выше сравнивает строки не посимвольно. Сначала он приводит каждую фразу к общему виду, а уже потом ищет повторы. Вы вставляете список и видите, сколько строк было и сколько осталось.
Что здесь считается дублем
Перед сравнением каждая строка приводится к общему виду. Отвечают за это пять галочек под полем ввода.
- Обрезать пробелы и схлопывать повторяющиеся пробелы внутри строки: включены сразу, лечат мусор из таблиц.
- Игнорировать регистр: тоже включён, «Купить Диван» и «купить диван» склеятся.
- Считать ё и е одной буквой: выключена. Включайте, когда в ядре есть «ёлки» и «елки».
- Игнорировать порядок слов во фразе: выключена. С ней «купить диван» и «диван купить» станут одной фразой.
В результат идёт первая исходная формулировка. Нормализация нужна только для сравнения, ваши фразы она не переписывает.
Как удалить дубли из списка
Вставьте фразы в поле «Ключевые фразы», по одной в строке. Отметьте галочки. Выберите сортировку: как есть, по алфавиту или по длине. Отдельный переключатель приводит готовый список к нижнему регистру, по умолчанию он выключен.
Считает он на лету. Тронули галочку: цифры пересчитались сами. Три счётчика показывают, сколько строк было, сколько осталось и сколько ушло в дубли.
Что делать с результатом
Нажмите «Скопировать» и забирайте список дальше по маршруту: в кластеризатор, в файл для рекламного кабинета, в таблицу с частотностями, куда вычищенное ядро обычно и уходит перед тем, как его разложат по группам объявлений.
Посмотрите на счётчик удалённых. Восемь строк из двенадцати тысяч: дублей нет, чистить было нечего. Четыре тысячи: дело уже не в дедупликаторе, а в том, как собираются выгрузки.
О чём помнить
- Порядок слов склеивает и разное по смыслу. «Москва Казань» и «Казань Москва» с этой галочкой станут одной фразой, хотя билеты покупают в разные стороны. Для гео и направлений её лучше не трогать.
- Сортировка по длине ставит короткие фразы наверх: так быстрее выцепить высокочастотники.
- Дубли считаются по всему списку сразу. Из двух одинаковых строк остаётся та, что встретилась раньше, поэтому порядок вставки имеет значение.
- Список остаётся в браузере. Ядро клиента вставляйте спокойно: на сервер оно не уходит.
Вставьте список в поле выше и посмотрите на счётчик дублей.
Частые вопросы
Фраза остаётся в исходном виде или приводится к нижнему регистру?
По умолчанию в результате сохраняется первая встреченная исходная формулировка фразы; привести весь результат к нижнему регистру можно отдельной галочкой «Привести результат к нижнему регистру».
Как найти дубли с переставленными словами?
Включите галочку «Игнорировать порядок слов во фразе» — тогда «купить диван» и «диван купить» будут считаться одной и той же фразой при сравнении.
Список фраз куда-то отправляется?
Нет, дедупликация происходит только в браузере, введённый текст никуда не передаётся.