Универсальный парсер

[gamer123]

народ хелп плиз) весь день не могу ничего придумать..по кругу гоняет одно и тоже.

[dkdkdk]

ну так start= это не номер страницы, а позиция в выдаче.
поэтому от 0 до 10 все на одной странице получается

[gamer123]

for i:=1 to Memo1.count do
 begin
  load:=IdHTTP1.Get(Memo1.Lines[i]+'/eshe-shto-to.html');
  if Pos('нужная надпись', load)<>0 then Memo2.Lines.Add(Memo1.Lines[i]);
 end;

1. подскажите как дополнить этот код чтобы ошибки инди при битом урле (404,302,304, 301 и т.д.) не появлялись а просто пропускал урл

1.1 chertovich посоветовал цикл заключить в try except, вроде работает но начали сыпаться новые ошибки, типа socket error 10060. Как лечиться?

2. Цикл для листания страниц for i:= 0 to 1000 do begin, захотелось сделать чтобы можно было в программе указывать парсить с такой то по такуюто (удобно, еслои парсер выбило или завис на середине, чтобы продолжить с места). На форме будут 2 едита, но как их прицепить туда?
Глупости типа for 'Edit1.Text' to 'Edit2.Text' do begin не пашут

3. Нужно изменить немного смысл. Здесь остановка когда найдена фраза "страниц больше нет", надо чтобы останавливалась не когда найдена фразха, а когда НЕ найдена - допустим на всех страницах есть ДАЛЕЕ, цикл тыкает номер несуществующей страницы. надписи ДАЛЕЕ нет и стопает

if Pos('страниц больше нет', load)<>0 then stop:=true;

[kroŧ]

Компонент IEParser я сщас им тоже пытаюсь персить
[Pascal Error] Unit19.pas(39): E2003 Undeclared identifier: 'Go' ошибка
замени на
IEParser1.Parse(Edit1.Text);
и будет персить.

[kroŧ]

IEParser1.url:= можно не писать, делаю так IEParser1.Parse('sait.ru')

[gamer123]

Сообщение от kroŧ

IEParser1.url:= можно не писать, делаю так IEParser1.Parse('sait.ru')

пасиб, да я уже инди новую заюзал. А у тебя иепарсер как работает? Лучше инди он? Быстрее?

[kroŧ]

я сщас токо его скачал мне надо персер сделать одного китайского поисковика кстате зайди на в папку компонента \Demos\Various Demos\09 - IEParser_Demo тут пример работы

[gamer123]

Сообщение от kroŧ

я сщас токо его скачал мне надо персер сделать одного китайского поисковика кстате зайди на в папку компонента \Demos\Various Demos\09 - IEParser_Demo тут пример работы

захадил, даже демка не запускалась ругалась на Go, тогда незнал еще в чем дело. А че решил на ieparser делать? Indy по моему нормально

[kroŧ]

я уже почти дописал с потоками, на инди может и лучше получится ну хочу этот компонент изучить, смотри гугл банит запросы поэтому надо любо прокси менять, либо ждать время, также можно пробовать язык меняешь возможно разбанит.
http://www.google.cm/search?hl=cm
http://www.google.CN/search?hl=CN
http://www.google.dj/search?hl=DJ
Вот ещё пригодится
http://www.google.com/search?num=50&q=google так будет 50
http://www.google.com/search?num=100&q=google а так будет больше
также есть комбинация выводит только ссылки без текста, не помни как набирать и найти не могу.

[gamer123]

Сообщение от kroŧ

я уже почти дописал с потоками, на инди может и лучше получится ну хочу этот компонент изучить, смотри гугл банит запросы поэтому надо любо прокси менять, либо ждать время, также можно пробовать язык меняешь возможно разбанит.
http://www.google.cm/search?hl=cm
http://www.google.CN/search?hl=CN
http://www.google.dj/search?hl=DJ
Вот ещё пригодится
http://www.google.com/search?num=50&q=google так будет 50
http://www.google.com/search?num=100&q=google а так будет больше
также есть комбинация выводит только ссылки без текста, не помни как набирать и найти не могу.

чтобы гугл не банл сделай слип на 5 секунд. Тестил - вроде нормально, хватает


подскажи плиз тут - if Pos('Далее', load)<>0 then stop:=true; - если надпись "Далее" найдена на странице - то стоп цикл. Как мне сделать чтобы цикл стопался, когда надпись наоборот, не найдена?