MySQL. Пакетное сравнение строк

[grominfo]

Всем привет!

Есть парсер ютуб, который тягает инфу о видео и прописывает в базе. При парсинге видео он подхватывает ссылки на другие видео, которые хранятся в файле в виде сериализованного массива. То есть после парсинга каждого видео файл дополняется, а перед парсингом вырезается одна ссылка.

Нужно, чтобы в этот файл не попадали ссылки, которые уже в базе. На ум приходит только проверка в цикле. Но тогда нужно при каждой итерации посылать запрос в базу.

Можно ли как-то одним запросом послать список URl и получить обратно только те ссылки, которых нет в базе?

[Аватар]

where url not in ('...','...',...)
перечень динамически
есть вариант и с временной таблицей с перечнем урлов

[grominfo]

Сообщение от Аватар

where url not in ('...','...',...)
перечень динамически
есть вариант и с временной таблицей с перечнем урлов

where url not in. А как я получу обратно список урлов, которых нет в базе? Они вернутся?

Про временную таблицу я тоже подумал сразу, но не знаю как с ней работать. Не можете показать на примитивном примере, который бы подошел к моему случаю?

[Аватар]

not не пойдет. Скорее всего без него получить список тех, которые есть, а в коде разобраться которых нет. А если этот список в таблице будет, то тогда скорее всего в духе not exists напрямую получая перечень отсутствующих

[grominfo]

Сообщение от Аватар

not не пойдет. Скорее всего без него получить список тех, которые есть, а в коде разобраться которых нет. А если этот список в таблице будет, то тогда скорее всего в духе not exists

Дело в том, что со временем в базе будет много строк. Вытягивать их все, а потом двумя циклами перебирать.....

Я вот думаю, может просто создать еще одну таблицу, где хранить все ссылки и флаги (пропарсено\непропарсено). А полю задать первичный ключ и обновлять с ON DUPLICATE KEY...

[grominfo]

Сообщение от Аватар

not не пойдет. Скорее всего без него получить список тех, которые есть, а в коде разобраться которых нет. А если этот список в таблице будет, то тогда скорее всего в духе not exists напрямую получая перечень отсутствующих

А, простите. Понял теперь. Получить список тех, что уже в базе из нового списка урлов. Все понял. Да, этот вариант подходит. Спасибо!

[ADSoft]

а зачем DUPLICATE? вы что хотите что то обновлять? Если нет - IGNORE достаточно

[Аватар]

Немного не так. Допустим есть список '1','2','3','4' . А в базе есть куча и в том числе '2' и '3'. Запросом

SELECT url from MyTable where url in ('1','2','3','4')

получатся те, которые есть в базе и в списке, т.е. только '2' и '3' без остальной кучи

Если же этот же список будет в какой-то таблице, то запросом

SELECT t.url FROM Temp t WHERE NOT EXISTS(SELECT 0 FROM MyTable m WHERE m.url=t.url)

получится '1' и '4'

Только нужно оценится, что лучше. Чем больше в in элементов, тем дольше. Допускаю, что еще возможны ограничения либо на их кол-во, либо на длину списка. Как-то в MS SQL сталкивался с этим. Запрос к временной отработает очень быстро, но нужно потрудиться над её созданием. Тоже время

[grominfo]

Сообщение от Аватар

Немного не так. Допустим есть список '1','2','3','4' . А в базе есть куча и в том числе '2' и '3'. Запросом

SELECT url from MyTable where url in ('1','2','3','4')

получатся те, которые есть в базе и в списке, т.е. только '2' и '3' без остальной кучи

Если же этот же список будет в какой-то таблице, то запросом

SELECT t.url FROM Temp t WHERE NOT EXISTS(SELECT 0 FROM * MyTable m WHERE m.url=t.url)

получится '1' и '4'

Только нужно оценится, что лучше. Чем больше в in элементов, тем дольше. Допускаю, что еще возможны ограничения либо на их кол-во, либо на длину списка. Как-то в MS SQL сталкивался с этим. Запрос к временной отработает очень быстро, но нужно потрудиться над её созданием. Тоже время

В моем случае скорость значения не имеет. Мне нужно уменьшить до минимум кол-во запросов. Поэтому вот этот способ мне больше подходит. Тут будет всего два запроса: один на выборку, один на вставку. Хостер задает лимит на кол-во запросов в час.

[Аватар]

На пост #7 обрати внимание. Возможно там решение всех проблем
http://ekimoff.ru/214/