Как удалить дубли из списка онлайн
Вставьте текст в левое поле: одна запись на строку. Выберите, какие строки нужно получить, и нажмите «Обработать список». Инструмент сравнивает записи целиком, находит совпадения и показывает результат справа. Его можно скопировать или скачать в TXT. Для обычного удаления дубликатов подходит первый режим: от каждой группы остаётся один экземпляр.
Здесь удобно обрабатывать перечни задач, артикулов, ссылок или ключевых слов. Запятая внутри текста не разбивает его на элементы. Несколько столбцов, вставленных из Excel или другой таблицы, сравниваются как одна строка с табуляцией. Чтобы очистить отдельный столбец, сначала скопируйте только его значения. Утилита не разбирает структуру CSV и не выбирает столбцы для сравнения.
Исходный список остаётся в форме. Смена режима, правил или текста очищает прежний результат: для новой обработки снова нажмите кнопку. «Сбросить настройки» возвращает точное сравнение и сохраняет ввод; «Очистить результат» убирает только готовые строки. «Очистить всё» также удаляет исходные данные. Кнопка примера заполняет поле без автоматического запуска.
Какие строки считаются дубликатами
По умолчанию сравнение точное. Учитываются регистр букв, все пробелы, знаки препинания и способ записи символов. «Анна», «анна» и « Анна » — три разные строки. Пустые записи и записи только из пробелов пропускаются перед поиском дублей. Дополнительные правила доступны в блоке настроек:
- Пробелы. Можно игнорировать отступы по краям или также повторные пробелы внутри. В последнем случае последовательность пробельных символов, включая табуляцию и неразрывный пробел, сравнивается как один обычный пробел.
- Регистр. При его игнорировании строки сравниваются в нижнем регистре. Это обычное преобразование букв; оно не учитывает все языковые варианты. Например, «Straße» и «STRASSE» не становятся одним значением.
- Ё и е. Их можно считать одинаковыми. Это отдельная настройка: она не отменяет выбранное правило регистра.
- Unicode NFC. Объединяет канонически равную запись: например, букву с ударением, записанную одним символом или буквой и комбинируемым знаком. Стандарт Unicode различает такое совпадение и более широкое преобразование похожих знаков.
Настройки помогают найти совпадения, но не переписывают выбранную строку. Если первое вхождение было с пробелами, они останутся в результате даже при игнорировании краёв. Кириллическая «А» и латинская «A», «01» и «1», перестановки слов и похожие по смыслу фразы различаются. Скрытый символ нулевой ширины автоматически не удаляется.
Первое или последнее вхождение
При сохранении первого вхождения исходный порядок оставшихся записей не меняется. Для списка «А», «Б», «А» результат будет «А», «Б». Если выбрать последнее, останутся записи на последних позициях: «Б», «А». Сортировки по алфавиту здесь нет. Исходное написание берётся именно из выбранного вхождения, а не из преобразованного текста сравнения.
Поиск повторяющихся и неповторяющихся строк
Чтобы проверить дубли, выберите «Только повторяющиеся строки»: каждая группа с двумя и более вхождениями появится один раз. Обратный режим оставляет только записи, которые встречались ровно один раз. Например, в списке «А», «Б», «А», «В» повторяется «А», а без повторений остаются «Б» и «В». Если подходящих записей нет, инструмент сообщает об этом; пустой результат такого фильтра не означает ошибку.
Что показывает статистика
«Групп совпадений» — число разных значений после выбранного сравнения. «Повторных вхождений» — сколько записей было сверх одного экземпляра каждой группы. «Исключено после сравнения» зависит от режима: при обычном удалении дублей оно равно числу повторных вхождений, а при фильтрации включает также неподходящие группы. Пропущенные пустые строки показаны отдельно.
Например, пять исходных строк «А», «Б», «А», пустая строка, «В» дают одну пропущенную пустую, три группы и одно повторное вхождение. В обычном режиме останутся три строки и будет исключена одна запись после сравнения. В режиме поиска повторов останется только «А», а исключённых после сравнения будет три. Все числа относятся к текущей обработке.
Переносы, ограничения и сохранение
Поддерживаются переносы Windows CRLF, отдельные CR и LF, а также разделители строк Unicode. Один конечный перенос завершает последнюю запись; дополнительный перенос создаёт пустую строку. Если пустые строки включены в сравнение, они тоже могут повторяться и удаляться по общим правилам. Полностью пустой или только пробельный ввод требует хотя бы одной содержательной записи.
Лимит — 50 000 исходных строк до фильтрации и 1 000 000 знаков UTF-16; эмодзи могут занимать два знака. Для большого списка скорость зависит от устройства. При превышении лимита, повреждённых Unicode-символах или недопустимых управляющих знаках будет сообщение об ошибке. Разделяя список на части, учитывайте: повторы между разными частями не найдутся.
Список обрабатывается в браузере и не включается в адрес страницы. Файл результата использует UTF-8 без добавленного BOM, разделитель LF и не добавляет конечный перенос. Сохраните результат до закрытия или перезагрузки страницы. Инструмент не проверяет людей, адреса почты или доступность URL: совпадение текста не подтверждает совпадение объектов.