Проблема с удалением дубликатов

[strannick]

Добрый день, уважаемые форумчане!
За последнюю неделю третий раз сталкиваюсь с такой проблемой. Данные с сайты выгружаются в эксель, затем фильтруются и переносятся в файл. В файле происходит удаление дубликатов по двум столбцам, в которых номера. Удаление дубликатов происходит стандартным способом экселя выделением диапазона и через Данные - Удалить дубликаты. Так вот третий раз за эту неделю этот процесс перестает срабатывать. Вот во вложении эти два столбца с номерами. Для примера строки 255 и 478 содержат одинаковые пары номеров 5013737 и 1686704. Но не воспринимаются как дублирующиеся строки и не удаляются. Разбирал пары по-символьно - одинаковые. Лишнего вроде нет и коды символов совпадают. При переносе, допустим, этих двух пар в другое место на листе путем копипаста и опять же применив стандартную процедуру удаления дубликатов пары воспринимаются как дубликаты и одна из пар удаляется.
Что может быть не так? Важно разобраться, чтоб исключить такую проблему в будущем. Помогите разобраться.
Заранее спасибо!!!

[Hugo121]

Да там таких вона сколько:

5013737|1686704 2
5013738|1755541 2
5013739|1734858 2
5013741|1733236 2
5013744|1694795 2
5013745|1745706 2
5013746|1718584 2
5013750|1714054 2
5013754|1742480 2
5013756|1739603 2
5013757|1713681 2
5013758|1695552 2
5013762|1681968 2
5013764|1674356 2
5013765|1707332 2
5013767|1689751 2
5013769|1739702 2

Почему не удаляет - не знаю... 2003 у меня тут

[SaLoKiN]

кажется понял почему... эксель отказывается(негласно) искать по всему диапазону когда в строке содержится символ(ы),например вот 4682838аа. ради интереса удалил все такие строки и все прокатило.

[strannick]

Сообщение от Hugo121

Да там таких вона сколько:

Почему не удаляет - не знаю... 2003 у меня тут

Конечно много. Я одну пару привел для примера. А их там таких целый набор.

кажется понял почему... эксель отказывается(негласно) искать по всему диапазону когда в строке содержится символ(ы),например вот 4682838аа

Вот тут и вопрос. 4682838аа - "аа" в конце это я добавлял для исключения из обработки. Это как раз те пары, которые ранее загрузились в автомате и не удалились как дубликаты. Я их пометил путем добавления "аа" в конце и исключил из обработки. Ранее просто есть без "аа" и они с сегодня загруженными опять не воспринялись как дубликаты. Есть большое подозрение, что сто-то не так с данными при выгрузке с сайта. То ли кодировка гуляет, то ли еще что-то. Вот тут сам не могу понять, хоть тресни. Процедура стандартная, отработала более года без сбоев, а тут такое горе. Либо надо прописывать другую процедуру, либо еще что-то. Но удивительно то, что стандарт не работает.

[Hugo121]

Но словарь эти повторы распознаёт. Перепишите процедуру с использованием словаря, не ломайте голову.

[strannick]

Сообщение от Hugo121

Но словарь эти повторы распознаёт. Перепишите процедуру с использованием словаря, не ломайте голову.

В оригинальном файле данные грузятся диапазоном со столбца E по V. Пары номеров, по которым определяются дубликаты, расположены в столбцах F и U. Как можно в таком варианте применить словарь? Чисто практически)))

[Hugo121]

Да какая макросу разница? Как сделаете, так и будет - ну возьмите в два параллельных массива, чтоб память пожалеть, проверяйте по словарю, номера строк-повторов в коллекцию, затем из коллекции делаете union и удаляете. Или сразу в union, если больше не нужны. Ну или иначе как-нибудь - хоть просто перебором коллекции с конца удалять строки по одной.
Или создать массив, понаставить туда сразу меток, в конце выгрузить на лист, отсортировать диапазон по меткам, всю кучу удалить. Как ZVI делал - супербыстро на любом количестве строк.

[Czeslaw]

Удалите все ненужные (лишние)пробелы и всё будет в порядке.

[strannick]

Существующие данные в словарь? а загруженные сравнивать со словарем по двум столбцам и удалять? Что-то типа:

iLastRow1 = sh.Cells(Rows.Count, 1).End(xlUp).row 'последняя заполненная строка перед загрузкой данных
a = sh.Range("F5:V" & iLastRow1).Value     'массив существующих данных, которые будем сравнивать с загружаемыми данными
Set oDict1 = CreateObject("scripting.dictionary")
    For x = 1 To UBound(a)    'наполняем словарь
    For xx = 1 To 17 'столбцы с E по V
        oDict1.Item(a(x, xx)) = x
    Next
    Next

iLastRow2 = iLastRow2 + 1 'первая строка загруженных данных
iLastRow3 = sh.Cells(Rows.Count, 1).End(xlUp).row 'последняя заполненная строка загруженных данных
For i =  iLastRow2 To iLastRow3   'цикл от первой до последней строки загруженных данных
u = sh.Cells(i, 6) & sh.Cells(i, 21) 'сцепка ячеек столбцов F и U, в которых пары номеров для сравнения 
If oDict1.Exists(u) Then 'вот тут как сравнить с парой номеров в нужных столбцах из словаря???
'тут удаляем если совпало

End If
Next

[strannick]

Сообщение от Czeslaw

Удалите все ненужные (лишние)пробелы и всё будет в порядке.

да вроде нету там лишних пробелов... или я прогавил?