Убрать дуплетность

[Лубышев]

Такая проблема:
Существует большая база данных (Библиотечный книжный фонд: база для MarcSQL - если кто то знаком с этим). База Microsoft Access (mbd).
В одном из полей хранится информация о книгах (поле Items в таблице Doc). Но бывало такое что книжки по два раза вносили.
Нужно как то убрать дублетность(повторы) этих записей.

[soleil@mmc]

если вам доступна ROW_NUMBER(), то существует простое решение

проверить можно хотя бы таким запросом (подставьте реальные названия полей, фильтр введен исключительно для уменьшения объема выборки)

select 
  book_id,
  row_number() over(order by book_id) rn
from books
where 0=0
  and book_id > 1000000

[Лубышев]

что то не то!
Блин я уже где то видел запрос, который бы удалял повторные записи!

[soleil@mmc]

чего не то?
я спросил - работает запрос такого типа
если да, то приведу простое решение

[Лубышев]

не работает кажется такой функции вообще нет

[soleil@mmc]

есть тогда менее тривиальные способы
1) завести доп.поле, в которое всем дублям проставить порядковый номер (тем самым получится дубли между собой различить)
и дальше удалить все дубли, у которых номер больше минимального в каждой группе дублей, затем удалть доп.поле за ненадобностью

2) через доп.таблицу
найти все дублирующие записи и с дистинктом их перелить в новую таблицу, удалить все дубли в старой и залить из новой в старую все записи, которые уже по определению не являются дублями

[Лубышев]

написали запрос, который удаляет повторения сравнивая по одному полю и оставляет первую найденную запись, а остальные записи долой.

delete from doc where doc_id not in (select min(doc_id)  from doc group by item)

но вот не задача то выходит
запрос хорошо работает на маленьком количестве записей. А вот когда их 50000 то тут проблема. Комп задумывается и не известно когда выполнится такой запрос. как бы это все оптимизировать?