Как вытащить Html из под Хрома ?

[L6go1as]

Уважаемые, подскажите, как вытащить html код, аналогичный коду браузера ?

Использую следующий код:

HttpWebRequest webreq = (HttpWebRequest)WebRequest.Create("http://yandex.ru/");
            HttpWebResponse webresp = (HttpWebResponse)webreq.GetResponse();

            webreq.Method = "GET";
            webreq.UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.116 Safari/537.36";
            webreq.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8";
            webreq.Headers.Add("Accept-Encoding", "gzip,deflate,sdch");
            webreq.Headers.Add("Accept-Language", "ru-RU,ru;q=0.8,en-US;q=0.6,en;q=0.4");
            webreq.ContentType = "text/html; charset=utf-8";

            StreamReader stream = new StreamReader(webresp.GetResponseStream(), Encoding.GetEncoding("UTF-8"));
            html = stream.ReadToEnd();
            stream.Close();

Просматриваю все Фидлером.
Код который открывается из браузера один, который из программы - другой.

Фидлер программу не видит, как браузер ... хотя вроде бы все прописал для этого

Может что не дописал, есть идеи ?

[L6go1as]

Хм, заметил еще вот что, если установить все куки, заголовки и т.д., то заместо html кода я получаю лишь:

�

Причем, посмотрев все, у программы с браузером лишь одно отличие - заголовок Keep-Alive отсутствует.

В чем прикол ?

[Lime]

javascript?

[Stilet]

Код который открывается из браузера один, который из программы - другой.

То есть как так?
Может твоя программа не обрабатывает редирект сайта?

[L6go1as]

Сообщение от Lime

javascript?

Да вроде бы нет.

Сообщение от Stilet

То есть как так?
Может твоя программа не обрабатывает редирект сайта?

Вот сам удивляюсь, но по ходу так оно и есть.
Если использовать IE10:

jsredir?from=yandex.ru%3Byandsearch%3Bweb%3B%3B

Если использовать Хром:

jsredir?from=yandex.ru%3Byandsearch%3Bweb%3B%3B%2Fweb%2Fitem%2Ftitle%2Cpos%2Cp0%2Csource%2Cweb_tdi&amp

*********

Я подозреваю что все дело в ответе который с сервера приходит, а именно в transfer-encoding: chunked

Но все бы ничего, вроде как ReadToEnd() должен читать до конца, все зависимости что в потоке.

Фидлер же показывает вот такую картинку:

5941
���������sו?�{�
��@�G7���KQ������T���Z�Pw�E�*Nf63�l�x=�[3�I<��Էjk�8v�8��*
�/�_��s�@R��nf,�o߾���s���]��~��͍D��W�ӿ	���nC�2c���m��i�n���a[w<^�r�k:M���SI��a��8c
�z;�l��ue=��s9�;����}U���[o�1���݆� sw-�nF�g��hϰ��9�ʕ���`��=��F%�'��5фgy}s��������:��|��M��������AÞ���Ѥ���׸{�LM���N"�����=��s%��k�F}��(�a�q�%��h,
��_~z���G?<�2��K%�s̎��:���
�泬3� (и так далее ...)

Насколько я понимаю первая строка - кол-во кусов.
Кто ни будь сталкивался с таким ?

[Stilet]

Кто ни будь сталкивался с таким ?

Я нет.

первая строка - кол-во кусов.

Скорее размер.

[L6go1as]

Не могу сказать что разобрался, но ... нашел в чем возможно проблема.

Все упиралось в заголовок Keep-Alive и версию HTTP.

В версии HTTP/1.1 заголовок Keep-Alive по умолчанию идет как "true", т.е. поддерживает соединение, однако если прописать его WebRequest.KeepAlive = true, то с запросом он не уходил. И как итог мы натыкались на transfer-encoding: chunked, который присылал нам, лишь первую часть ответа и сервер закрывал соединение. Почему так происходит - не знаю, но куда интереснее становится дальше.

Если переключить версию HTTP/1.1 на HTTP/1.0, WebRequest.KeepAlive = true - работает, так как для этой версии его все же нужно было включать ручками.

Собственно, если чуть дописать код:

webreq.ProtocolVersion = HttpVersion.Version10;
webreq.KeepAlive = true;

Все работает как часы )
Единственное, я пока не проверял работает ли на последующих страницах, апосля переходов.
Вполне возможно, что в переходах наткнусь на transfer-encoding: chunked

[L6go1as]

Вот такой вопрос ... выполняю 2 запроса:

webwalker.getStarted(); // Первый запрос "GET"
string html = webwalker.Search_in(); // Второй запрос "GET"

Первый - заход на яндекс
Второй - переход в поиск

И почему-то второй запрос исполняется первым и лишь через какое-то время (пару сек) выполняется первый.

Почему так происходит ? Как сохранить очередность ?

[L6go1as]

Как и ожидал, все переходы идут кусками ... увы и ах, как бороться с transfer-encoding: chunked, я так и не понял, однако!

Зачем же допускать компрессию изначально ?

Вносим изменения:

webrequest.Headers.Add("Accept-Encoding", "none");

И никаких танцев в бубном не нужны Однако страница грузится полностью, но если это не проблема, то you are welcome.
Надеюсь кому нить да поможет сие.