mail.ru parser

[SAMY93]

Здравствуйте! У меня есть проблема:не получается написать парсер.Вот сайт,откуда брать мейлы http://otvet.mail.ru/open/?pg=1.
Вот мой код

procedure TForm3.Button1Click(Sender: TObject);
var s,s1,l:string;i,j,k:integer;
begin
for j := 1 to 5 do //желаемое кол-во страниц
  for k := 1 to 20 do // число майлов на одной странице
     begin
s:=idhttp1.Get('http://otvet.mail.ru/open/?pg=inttostr(j)');
l:='http://www.mail.ru/agent?message&to=';
if pos(l,s)<>0 then begin
  s1:=copy(s,pos(l,s)+36,20);
  s1:=copy(s1,1,pos('.ru',s1)+2);
   end;
  memo1.Lines.Add(s1);

     end;

end;

Проблема в том, что очень маленькая скорость и некоторые мэйлы добавляются по нескольку раз. Помогите пожалуйста.

[ZaRDaK]

Скорость зависит от твоего интернета, компьютера, серверов mail.ru и библиотеки Indy, для начала замени что-то одно.
А чтобы мейлы не добавлялись по нескольку раз, при каждом добавлении проходитесь циклом по memo1.Lines, сравнивайте с текущим, и если нет совпадений - добавляйте.

[SAMY93]

Спасибо, но чет у меня какая-то херня с этим получается. Вот что я дописал

procedure TForm3.Button1Click(Sender: TObject);
 var       s,s1,l:string;i,j,k:integer;
begin
for j := 1 to 5 do   begin
     for k := 1 to 20 do
     begin
 s:=idhttp1.Get('http://otvet.mail.ru/open/?pg='+inttostr(j));
l:='http://www.mail.ru/agent?message&to=';
if pos(l,s)<>0 then begin
  s1:=copy(s,pos(l,s)+36,pos('@',s));
  s1:=copy(s1,1,pos('.ru',s1)+2);
   end;
   memo1.lines.Add(s1);
   for I := 1 to memo1.Lines.Count - 1 do
     if memo1.lines[i]<>memo1.lines[i+1] then
            memo1.Lines.Add(s1);
    end;
end;

end;

Но все-равно не получается. Не могли бы вы мне помочь?

[fAtliNg]

конечно делаешь очень хитро аж ппц..
я про эти строки:

s1:=copy(s,pos(l,s)+36,pos('@',s));
s1:=copy(s1,1,pos('.ru',s1)+2);

ну и ладно, потом подумаешь как можно это сделать легче... миллион переменных не лучший вариант...

Теперь самое главное, в s1 всегда будет один и тот же мейл записываться(первое вхождение). Поэтому как s1 добавили в мемо сразу нужно из s удалять кусок кода начиная с 1 символа и заканчивая позицией s1.

   for I := 1 to memo1.Lines.Count - 1 do
     if memo1.lines[i]<>memo1.lines[i+1] then
            memo1.Lines.Add(s1);
    end;

а это что такое? Если эта штука фильтрует повторы, то я Скотт Эдкинс.

[SAMY93]

   for I := 1 to memo1.Lines.Count - 1 do
     if memo1.lines[i]<>memo1.lines[i+1] then
            memo1.Lines.Add(s1);
    end;

а это что такое? Если эта штука фильтрует повторы, то я Скотт Эдкинс.[/QUOTE]

Я просто не понимаю,как это сделать.Вот и родилось это чудище.Помогите исправить пожалуйста.

[fAtliNg]

Берешь первый элемент, сравниваешь его с каждым другим, если есть совпадение, то удаляешь его. Берешь второй элемент делаешь тоже самое. И так до самого конца. Через два цикла. Ничего сложного..

[fAtliNg]

а можно все сразу сделать
как только получаешь s1, то в цикле s1 сравниваешь с каждой строкой из memo. Если совпадений нету, то добавляешь. Чтоб узнать есть совпадения или нету можно например взять переменную add: boolean. изначально присвоить ее к true, как только находится повтор - присваиваешь ее к false. а потом:
if add then
memo1.Lines.Add(s1);

[SAMY93]

Спасибо. Я уже сделал) Дошло до меня. Задумка моя в том, чтобы отпарсенные мэйлы сразу заносились в брут,который по мере добавления будет их брутить.