HTML исходный код (парсинг)

[DjDram]

Столкнулся с такой проблемой пытаюсь открыть исходный код html страницы в memo

Procedure TForm1.Button1Click(Sender: TObject);
var
     IdHTTP     :   TIdHTTP;
     WebDoc     :   TStringStream;
     url:   String;
Begin
   Result := false;
   IdHTTP := TIdHTTP.Create(nil); //создаём компонент TIdHTTP
     try
        WebDoc := TStringStream.Create(''); // создаём поток символов
         try
   with IdHTTP do // в компоненте
     Begin
          Request.UserAgent := 'MSIE'; // устанавливаем тип браузера
          Request.Host := 'www.youtube.com'; // устанавливаем хост
      End;
url:='http://www.youtube.com/watch?v=oOihh3Gy8ZU&feature=topvideos_entertainment'; // присваевываем переменной адрес страницы
IdHTTP.Get(url, WebDoc); //заносим символы страницы в поток
MEMO1.Text:=WEBDOC.datastring; // выводим поток символов в текстовое поле
          finally
          WebDoc.Free; // высвобождаем поток
          end;
     finally
        IdHTTP.Free; // высвобождаем компонент
     end;
  end;
end.

так вот если открыть страницу таким образом мы получим исходный код страницы, но самое интересное если открыть её браузером IE и нажать исходный код то она будет не идентична полученной как получить полную копию исходного кода данной страницы?

[TwiX]

Написать движок для выполнения яваскриптов *trollface*

[Человек_Борща]

1. GET метод может вернуть исходник как результат.. все проще:

var
  ResultS:string;
  http:TidHTTP;
begin
http:=TidHTTP.Create;
s:=http.get('http://mydomain.com/blablabla');
http.free;
end;

2. гениальная мысль, в run-time создать TWebBrowser, загрузить страницу, спереть исходник и уничтожить WebBrowser.

[Пепел Феникса]

первое на взгляд что пришло в голову, это то что не маскируетесь вы под IE.

[DjDram]

Вот схраняем в файл парс страницы

.....
uses
  ...... ActiveX, MSHTML;
.......

.....
 public
procedure SaveHTMLSourceToFile(const FileName: string; WB: TWebBrowser);
......

procedure TForm1.SaveHTMLSourceToFile(const FileName: string;
 WB: TWebBrowser);
var
 PersistStream: IPersistStreamInit;
 FileStream: TFileStream;
 Stream: IStream;
 SaveResult: HRESULT;
begin
 PersistStream := WB.Document as IPersistStreamInit;
 FileStream := TFileStream.Create(FileName, fmCreate);
try
 Stream := TStreamAdapter.Create(FileStream, soReference) as IStream;
 SaveResult := PersistStream.Save(Stream, True);
if FAILED(SaveResult) then
 MessageBox(Handle, 'Fail to save HTML source', 'Error', 0);
finally
 FileStream.Free;
end;
end;

procedure TForm1.Button1Click(Sender: TObject);
begin
webbrowser1.Navigate('http://www.youtube.com/watch?NR=1&v=cPujBlFSQtU');
if SaveDialog1.Execute then
 SaveHTMLSourceToFile(SaveDialog1.FileName, WebBrowser1);
end;

вообщем получается что HTML код сохраняется в файл а как сделать чтоб он был не в файле а в StringStream

[Пепел Феникса]

 FileStream: TFileStream;

ну это же очевидно...

[DjDram]

Сообщение от Пепел Феникса

 FileStream: TFileStream;

ну это же очевидно...

procedure TForm1.Button2Click(Sender: TObject);
var
PersistStream: IPersistStreamInit;
WebDoc: TStringStream;
Stream: IStream;
SaveResult: HRESULT;
begin
webbrowser1.Navigate('http://www.youtube.com/watch?NR=1&v=cPujBlFSQtU');
PersistStream := WebBrowser1.Document as IPersistStreamInit;
WebDoc := TStringStream.Create('');

try
Stream := TStreamAdapter.Create(WebDoc, soReference) as IStream;
SaveResult := PersistStream.Save(Stream, True);
if FAILED(SaveResult) then
MessageBox(Handle, 'Fail to HTML source', 'Error', 0);
MEMO1.Text:=WEBDOC.DataString;
finally
WebDoc.Free;
end;

как то так не работает....

[Пепел Феникса]

а где создание объекта потока?

procedure SaveHTMLSourceToStream(s:TStream;
 WB: TWebBrowser);
var
 PersistStream: IPersistStreamInit;
 Stream: IStream;
 SaveResult: HRESULT;
begin
 PersistStream := WB.Document as IPersistStreamInit;
try
 Stream := TStreamAdapter.Create(s, soReference) as IStream;
 SaveResult := PersistStream.Save(Stream, True);
if FAILED(SaveResult) then
 MessageBox(Handle, 'Fail to save HTML source', 'Error', 0);
except

end;
end;

применяем так:

StringStream:=TStringStream.Create;
SaveHTMLSourceToStream(StringStream,WB);
//используем StringStream
StringStream.Free;

на основе этого можно сделать такое:

procedure SaveHTMLSourceToStrings(s:TStrings;WB:TWebBrowser);
var t:TMemoryStream;
begin
 t:=TMemoryStream.Create;
 SaveHTMLSourceToStream(t,WB);
 s.Clear;
 t.Posotion:=0;
 s.LoadFromStream(t);
 t.free;
end;

[DjDram]

procedure TForm1.Button1Click(Sender: TObject);
var
 StringStream:TStringStream;
begin
StringStream:=TStringStream.Create;
SaveHTMLSourceToStream(StringStream,WebBrowser1);
MEMO1.Text:=StringStream.DataString;
StringStream.Free;
end;

procedure TForm1.Button2Click(Sender: TObject);
begin
WebBrowser1.Navigate('http://www.youtube.com/watch?v=lkKhfP4fZZs&feature=relmfu');
end;

А как сделать чтобы не двумя а одной кнопкой это обрабатывалось?

procedure TForm1.Button1Click(Sender: TObject);
var
 StringStream:TStringStream;
begin
WebBrowser1.Navigate('http://www.youtube.com/watch?v=lkKhfP4fZZs&feature=relmfu');
StringStream:=TStringStream.Create;
SaveHTMLSourceToStream(StringStream,WebBrowser1);
MEMO1.Text:=StringStream.DataString;
StringStream.Free;
end;

если объединяю выскакивает ошибка

[Пепел Феникса]

потому что надо ждать события OnDocumentComplete(и в том еще проверять на статус браузера)