Удаление повтора из баз

[Jleksern]

Здравствуйте уважаемый.

В базе данных MySQL, в определенной таблицы у меня есть десятки миллионов записей.
Как можно удалить дубликаты в такой огромнейшей базе?

[grominfo]

http://webaurum.blogspot.ru/2010/06/...ublicates.html

[Stilet]

Дубликаты в рамках одной таблицы, или развалены по разным таблицам, и выводятся в результате присоединений и т.п.?

[Vad33]

Сообщение от Jleksern

Здравствуйте уважаемый.

В базе данных MySQL, в определенной таблицы у меня есть десятки миллионов записей.
Как можно удалить дубликаты в такой огромнейшей базе?

Если в базе дубликаты, значит что-то не в порядке со структурой и/или
логикой работы. Поэтому, вместе с чисткой нужно вводить ограничения.

[Jleksern]

Сообщение от Stilet

Дубликаты в рамках одной таблицы, или развалены по разным таблицам, и выводятся в результате присоединений и т.п.?

таблица одна. Состоит из двух ячеек к примеру [name][age].

Сообщение от Vad33

Если в базе дубликаты, значит что-то не в порядке со структурой и/или
логикой работы. Поэтому, вместе с чисткой нужно вводить ограничения.

Нет, бд у меня работает как хранитель информации ,которую я там размести и размещал действительно несколько раз одно и тоже.

Сообщение от grominfo

http://webaurum.blogspot.ru/2010/06/...ublicates.html

Пробовал когда-то таким способом.
Результат меня немного разачаров.
Проверял с начал скрипт на маленькой базе данных с несколькоми строк данных.
Он нашел одинаковые и удалил.
Но на большой БД (тогда записей было около 19 млн.) он не справился.
Дубликаты остались, возможно меньше, но остались и довольно таки много.

[Serge_Bliznykov]

как вариант, пишем скрипт, который помещает результат запроса в новую таблицу, если всё прошло удачно, оригинальную таблицу переименовываем в xxx_backup (или вообще удаляем), новую таблицу переименовываем в исходную. профит.

запрос вида

CREATE TABLE newtable_name
select distinct name, age 
from yuortable_name

или

CREATE TABLE newtable_name
select name, age 
from yuortable_name
group by name, age

[Vad33]

Сообщение от Jleksern

таблица одна. Состоит из двух ячеек к примеру [name][age].

Нет, бд у меня работает как хранитель информации ,которую я там размести и размещал действительно несколько раз одно и тоже.
...

А ограничение (уникальный индекс по составному полю) и автоинкрементное поле добавить, религия не позволяет?

[Stilet]

профит.

Ну и потом еще как-то размер файла уменьшить научится