Парсинг или часть странички в webbrowser? Как лучше?

[Fahman]

Спасибо за пример) мне надо было очень быстро это сделать и хотел по просить кусок исходника=)))) Ну как можно спарсить чтоб как на сайте было? как я понял если тупо взять вытащить исходник а потом взять и скопировать мне нужные теги то CSS удалится? не будет же как на сайте так?=)) Это го мне не хотелось бы=) могу показать кучу сайтов где лежат всяческая инфа..... Но мне нужно только часть страничку загружать и все) Та часть которая мне нужна)))

В принципе можно спарсить Html код странички и потом отуда вот как занести данные в WebBrowser1???? чиркните кто может пример) Как я найду что нить я напишу сюды!

[BDA]

Вообще я люблю парсить, но получился вот такой костыль:

unit Unit1;

interface

uses
  Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,
  Dialogs, StdCtrls, OleCtrls, SHDocVw, MSHTML;

type
  TForm1 = class(TForm)
    WebBrowser1: TWebBrowser;
    Button1: TButton;
    procedure Button1Click(Sender: TObject);
    procedure WebBrowser1DocumentComplete(ASender: TObject;
      const pDisp: IDispatch; var URL: OleVariant);
    procedure WebBrowser1NavigateComplete2(ASender: TObject;
      const pDisp: IDispatch; var URL: OleVariant);
    procedure WebBrowser1BeforeNavigate2(ASender: TObject;
      const pDisp: IDispatch; var URL, Flags, TargetFrameName, PostData,
      Headers: OleVariant; var Cancel: WordBool);
  private
    { Private declarations }
  public
    { Public declarations }
  end;

var
  Form1: TForm1;
  CurDispatch: IDispatch;

implementation

{$R *.dfm}

procedure TForm1.Button1Click(Sender: TObject);
begin
  WebBrowser1.Navigate('http://finviz.com/insidertrading.ashx?tc=2');
end;

procedure TForm1.WebBrowser1BeforeNavigate2(ASender: TObject;
  const pDisp: IDispatch; var URL, Flags, TargetFrameName, PostData,
  Headers: OleVariant; var Cancel: WordBool);
begin (ASender as TWebBrowser)
  .hide;
end;

procedure TForm1.WebBrowser1DocumentComplete(ASender: TObject;
  const pDisp: IDispatch; var URL: OleVariant);
var
  DocA: IHTMLElementCollection;
  doc: IHTMLDocument2;
  Element: IHTMLElement;
  i: integer;
  fl: boolean;
begin
  if (pDisp = CurDispatch) then
  begin
    doc := ((pDisp as IWebBrowser).Document as IHTMLDocument2);
    DocA := doc.body.all as IHTMLElementCollection;
    i := 0;
    fl := true;
    while (i < DocA.length) and fl do
    begin
      Element := DocA.item(i, 0) as IHTMLElement;
      if Element.className = 'body-table' then
      begin
        doc.body.innerHTML :=
          '<span class="time-text" id="time"></span>' + Element.outerHTML;
        fl := false;
      end;
      inc(i);
    end; (ASender as TWebBrowser)
    .show;
    CurDispatch := nil;
  end;
end;

procedure TForm1.WebBrowser1NavigateComplete2(ASender: TObject;
  const pDisp: IDispatch; var URL: OleVariant);
begin
  if CurDispatch = nil then
    CurDispatch := pDisp;
end;

end.

[Fahman]

Сообщение от BDA

Вообще я люблю парсить, но получился вот такой костыль:

unit Unit1;

interface

uses
  Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,
  Dialogs, StdCtrls, OleCtrls, SHDocVw, MSHTML;

type
  TForm1 = class(TForm)
    WebBrowser1: TWebBrowser;
    Button1: TButton;
    procedure Button1Click(Sender: TObject);
    procedure WebBrowser1DocumentComplete(ASender: TObject;
      const pDisp: IDispatch; var URL: OleVariant);
    procedure WebBrowser1NavigateComplete2(ASender: TObject;
      const pDisp: IDispatch; var URL: OleVariant);
    procedure WebBrowser1BeforeNavigate2(ASender: TObject;
      const pDisp: IDispatch; var URL, Flags, TargetFrameName, PostData,
      Headers: OleVariant; var Cancel: WordBool);
  private
    { Private declarations }
  public
    { Public declarations }
  end;

var
  Form1: TForm1;
  CurDispatch: IDispatch;

implementation

{$R *.dfm}

procedure TForm1.Button1Click(Sender: TObject);
begin
  WebBrowser1.Navigate('http://finviz.com/insidertrading.ashx?tc=2');
end;

procedure TForm1.WebBrowser1BeforeNavigate2(ASender: TObject;
  const pDisp: IDispatch; var URL, Flags, TargetFrameName, PostData,
  Headers: OleVariant; var Cancel: WordBool);
begin (ASender as TWebBrowser)
  .hide;
end;

procedure TForm1.WebBrowser1DocumentComplete(ASender: TObject;
  const pDisp: IDispatch; var URL: OleVariant);
var
  DocA: IHTMLElementCollection;
  doc: IHTMLDocument2;
  Element: IHTMLElement;
  i: integer;
  fl: boolean;
begin
  if (pDisp = CurDispatch) then
  begin
    doc := ((pDisp as IWebBrowser).Document as IHTMLDocument2);
    DocA := doc.body.all as IHTMLElementCollection;
    i := 0;
    fl := true;
    while (i < DocA.length) and fl do
    begin
      Element := DocA.item(i, 0) as IHTMLElement;
      if Element.className = 'body-table' then
      begin
        doc.body.innerHTML :=
          '<span class="time-text" id="time"></span>' + Element.outerHTML;
        fl := false;
      end;
      inc(i);
    end; (ASender as TWebBrowser)
    .show;
    CurDispatch := nil;
  end;
end;

procedure TForm1.WebBrowser1NavigateComplete2(ASender: TObject;
  const pDisp: IDispatch; var URL: OleVariant);
begin
  if CurDispatch = nil then
    CurDispatch := pDisp;
end;

end.

Спасибо большое=) Ща буду пробовать) Можно вас по просить урок? Ну вы же знаете что пишите? а я вот не знаю просто скопировать и вставить я не хочу так) Хочу научится нормально программировать=) Ну или тут в коментариях не много указать что да как) ну за пример отдельное вам спасибо!

[Fahman]

BDA
Профессионал

Спасибо, все то что я хотел и все то что надо было вы сделали, Только она что то долго копирует все в webbrowser да и не проблема) Можно вас попросить описать этот исходник? что бы я понял что да как это работает. В общем будьте моим сенсеям)

[Stilet]

Обработчик старта получения страницы

procedure TForm1.Button1Click(Sender: TObject);
begin
  WebBrowser1.Navigate('http://finviz.com/insidertrading.ashx?tc=2');
end;

Перед получение страницы мы веббраузер с формы скрываем (зачем?)

procedure TForm1.WebBrowser1BeforeNavigate2(ASender: TObject;
  const pDisp: IDispatch; var URL, Flags, TargetFrameName, PostData,
  Headers: OleVariant; var Cancel: WordBool);
begin (ASender as TWebBrowser)
  .hide;
end;

Когда документ загрузился срабатывает событие:

procedure TForm1.WebBrowser1DocumentComplete(ASender: TObject;
  const pDisp: IDispatch; var URL: OleVariant);
var
  DocA: IHTMLElementCollection;
  doc: IHTMLDocument2;
  Element: IHTMLElement;
  i: integer;
  fl: boolean;
begin
  if (pDisp = CurDispatch) then
  begin
// Получаем интерфейс на загруженный документ
    doc := ((pDisp as IWebBrowser).Document as IHTMLDocument2);
// Получем список его всех элементов - doc.body.all
    DocA := doc.body.all as IHTMLElementCollection;
    i := 0;
    fl := true;
//Проходимся по каждому элементу (всмысле тегу HTML не зависимо от вложенности)
    while (i < DocA.length) and fl do
    begin
// Получаем ссылку на i-й элемент
      Element := DocA.item(i, 0) as IHTMLElement;
// Если его класс такой-то
      if Element.className = 'body-table' then
      begin
// То в тело документа вставляем тег span, а потом уже и тот найденный элемент целиком
        doc.body.innerHTML :=
          '<span class="time-text" id="time"></span>' + Element.outerHTML;
        fl := false;
      end;
      inc(i);
    end;
// После всего показываем браузер с измененной страницей
// Теперь ясно зачем было нужно его скрывать - он так быстрее отработает без постоянной перерисоки
(ASender as TWebBrowser)
    .show;
    CurDispatch := nil;
  end;
end;

И вот у меня пример еще вспомнился:

procedure TForm1.WebBrowser1DocumentComplete(ASender: TObject;
  const pDisp: IDispatch; var URL: OleVariant);

var d:IHTMLDocument2; all,tbls:IHTMLElementCollection;
     t:IHTMLTable; r:IHTMLTableRow;c:IHTMLElement;
     k,i,j:integer;  ops,s:string;

 function GetFName:String;
 var i:integer;
 begin Result:='';
   tbls:=IHTMLElementCollection(all.tags('INPUT'));
   for i:=0 to tbls.length do begin
     c:=tbls.item(i,0) as IHTMLElement;
     if c.id='ctl00_centerContent_fileUploadXmlBarcodes' then begin
      result:=c.getAttribute('value',0);
      exit;
     end;
   end;
 end;

 begin
// Получаем документ загруженный
  d:=IHTMLDocument2(WebBrowser1.Document);
// Выбираем коллекцию всех его элементов
  all:=d.all;
// Но из нее отсеиваем все, оставляя только таблицы
  tbls:=IHTMLElementCollection(all.tags('TABLE'));
  t:=tbls.item(0,0) as IHTMLTable;
    //Caption:=GetFName;
// Если таблиц нет то выходим. Нечего парсить
  if VarIsClear(t) then exit;

//Иначе порулим по списку таблиц
  for i:=1 to t.rows.length-1 do begin
// Получим i-тую строку в таблице
    r:=t.rows.item(i,0) as IHTMLTableRow; s:='';
//Получим 2-. ячейку в таблице
    c:=r.cells.item(2,0) as IHTMLElement;
Если она пуста то продолжим цикл
    if c.innerHTML='' then Continue;
Если в ней находится число 41 то увеличим счетчик таких ячеек
    if (copy(c.innerHTML,1,2)='41') then begin tag:=tag+1; Continue;end;

// Пройдемся по ячейкам строки
    for j:=0 to r.cells.length-1 do begin
//Для составления списка их содержимого в переменку s
     c:=r.cells.item(j,0) as IHTMLElement;
     if j=1 then ops:=c.innerHTML;
     s:=s+c.innerHTML+#2;
     
     inc(k);
    end;
    ct.AddRes(ops,s);
    inc(xlsLastRow);
  end;
  Screen.Cursor:=crDefault;
  ShowMessage('Накоплено '+IntToStr(k)+' записей. '#13#10
   +IntToStr(tag)+' записей отсеяно');
 end;

Это я парсил один сайтик выдирая элементы ячеек таблицы.

[Fahman]

Сообщение от Stilet

Обработчик старта получения страницы

procedure TForm1.Button1Click(Sender: TObject);
begin
  WebBrowser1.Navigate('http://finviz.com/insidertrading.ashx?tc=2');
end;

Перед получение страницы мы веббраузер с формы скрываем (зачем?)

procedure TForm1.WebBrowser1BeforeNavigate2(ASender: TObject;
  const pDisp: IDispatch; var URL, Flags, TargetFrameName, PostData,
  Headers: OleVariant; var Cancel: WordBool);
begin (ASender as TWebBrowser)
  .hide;
end;

Когда документ загрузился срабатывает событие:

procedure TForm1.WebBrowser1DocumentComplete(ASender: TObject;
  const pDisp: IDispatch; var URL: OleVariant);
var
  DocA: IHTMLElementCollection;
  doc: IHTMLDocument2;
  Element: IHTMLElement;
  i: integer;
  fl: boolean;
begin
  if (pDisp = CurDispatch) then
  begin
// Получаем интерфейс на загруженный документ
    doc := ((pDisp as IWebBrowser).Document as IHTMLDocument2);
// Получем список его всех элементов - doc.body.all
    DocA := doc.body.all as IHTMLElementCollection;
    i := 0;
    fl := true;
//Проходимся по каждому элементу (всмысле тегу HTML не зависимо от вложенности)
    while (i < DocA.length) and fl do
    begin
// Получаем ссылку на i-й элемент
      Element := DocA.item(i, 0) as IHTMLElement;
// Если его класс такой-то
      if Element.className = 'body-table' then
      begin
// То в тело документа вставляем тег span, а потом уже и тот найденный элемент целиком
        doc.body.innerHTML :=
          '<span class="time-text" id="time"></span>' + Element.outerHTML;
        fl := false;
      end;
      inc(i);
    end;
// После всего показываем браузер с измененной страницей
// Теперь ясно зачем было нужно его скрывать - он так быстрее отработает без постоянной перерисоки
(ASender as TWebBrowser)
    .show;
    CurDispatch := nil;
  end;
end;

И вот у меня пример еще вспомнился:

procedure TForm1.WebBrowser1DocumentComplete(ASender: TObject;
  const pDisp: IDispatch; var URL: OleVariant);

var d:IHTMLDocument2; all,tbls:IHTMLElementCollection;
     t:IHTMLTable; r:IHTMLTableRow;c:IHTMLElement;
     k,i,j:integer;  ops,s:string;

 function GetFName:String;
 var i:integer;
 begin Result:='';
   tbls:=IHTMLElementCollection(all.tags('INPUT'));
   for i:=0 to tbls.length do begin
     c:=tbls.item(i,0) as IHTMLElement;
     if c.id='ctl00_centerContent_fileUploadXmlBarcodes' then begin
      result:=c.getAttribute('value',0);
      exit;
     end;
   end;
 end;

 begin
// Получаем документ загруженный
  d:=IHTMLDocument2(WebBrowser1.Document);
// Выбираем коллекцию всех его элементов
  all:=d.all;
// Но из нее отсеиваем все, оставляя только таблицы
  tbls:=IHTMLElementCollection(all.tags('TABLE'));
  t:=tbls.item(0,0) as IHTMLTable;
    //Caption:=GetFName;
// Если таблиц нет то выходим. Нечего парсить
  if VarIsClear(t) then exit;

//Иначе порулим по списку таблиц
  for i:=1 to t.rows.length-1 do begin
// Получим i-тую строку в таблице
    r:=t.rows.item(i,0) as IHTMLTableRow; s:='';
//Получим 2-. ячейку в таблице
    c:=r.cells.item(2,0) as IHTMLElement;
Если она пуста то продолжим цикл
    if c.innerHTML='' then Continue;
Если в ней находится число 41 то увеличим счетчик таких ячеек
    if (copy(c.innerHTML,1,2)='41') then begin tag:=tag+1; Continue;end;

// Пройдемся по ячейкам строки
    for j:=0 to r.cells.length-1 do begin
//Для составления списка их содержимого в переменку s
     c:=r.cells.item(j,0) as IHTMLElement;
     if j=1 then ops:=c.innerHTML;
     s:=s+c.innerHTML+#2;
     
     inc(k);
    end;
    ct.AddRes(ops,s);
    inc(xlsLastRow);
  end;
  Screen.Cursor:=crDefault;
  ShowMessage('Накоплено '+IntToStr(k)+' записей. '#13#10
   +IntToStr(tag)+' записей отсеяно');
 end;

Это я парсил один сайтик выдирая элементы ячеек таблицы.

Спасибо, очень интересно сразу стало) Есть ли какая нить книга? обучению парсинга? ну там чтоб сайт со скринами и с исходниками чтоб я понимал что да как) кому не лень может чиркнет в формате doc? =) буду изучать=) Вот еще что думаю... Страничка до долго отображается, и это слегка напрягает, думаю может часть кода сделать при открытии формы? а потом тупо брать с memo или откуда там и загружать страничку? ну как нить главное чтоб она сама быстро обновлялась) Классный Форум, а главное все так быстро!

[eval]

Есть ли какая нить книга? обучению парсинга? ну там чтоб сайт со скринами и с исходниками

это будет инструкция для посещения гальюна

[Stilet]

это будет инструкция для посещения гальюна

Причем для каждого гальюна она будет разная и толще чем Война и Мир )))

Есть ли какая нить книга?

Нет такой книги и никогда не будет. Парсинг сайтов сродни взлому.

Страничка до долго отображается, и это слегка напрягает

потому что WebBrowser подкачивает не только HTML а еще и картинки, гифки, флешки и прочую ненужную для парсинга бурду, к тому же выполняя JS. Так что раз выбрал такой способ - терпи.

[Fahman]

Терпение занимает около 6-8 секунд=( думаю сделать так:

procedure TForm1.WebBrowser1DocumentComplete(ASender: TObject;
  const pDisp: IDispatch; var URL: OleVariant);
var
  DocA: IHTMLElementCollection;
  doc: IHTMLDocument2;
  Element: IHTMLElement;
  i: integer;
  fl: boolean;
begin

Этот код добавить в webbrowser2 а не "1" А первый веббраузер можно загрузить в то время как открылась форма=) Потом про тестирую отпишусь. Может кому интересно будет...

[Stilet]

Этот код добавить в webbrowser2 а не "1" А первый веббраузер можно загрузить в то время как открылась форма=)

И что это даст?