Парсинг сайта

[Reskov]

вот еще пример с бекгроунд воркером.. чтоб было понятней почему так... dowork работает в другом потоке... ProgressChanged в том же

    private void button1_Click(object sender, EventArgs e)
        {
            var t = new BackgroundWorker();
            t.DoWork += DoWork;
            t.WorkerReportsProgress = true;
            t.ProgressChanged += ProgressChanged;
            t.RunWorkerAsync();
        }

        public EventWaitHandle h=new EventWaitHandle(false,EventResetMode.ManualReset);

        private bool ajaxloaded;
        private void ProgressChanged(object sender, ProgressChangedEventArgs e)
        {

            
            if (test)// add your ajax test here
            {
                //docg.LoadHtml(webBrowser1.DocumentText);
                ajaxloaded = true;
            }
            
            h.Set();
            
        }

        private void DoWork(object sender, DoWorkEventArgs e)
        {
            while (!ajaxloaded)
            {
// нельзя обратиться здесь
                Thread.Sleep(1000);
                (sender as BackgroundWorker).ReportProgress(1);
                h.WaitOne();
            }
           
        }

[SnaiperArts]

это тоже не понятно зачем

webBrowser1.Navigate("http://ru.savefrom.net/"+textBox1.Text);
            webBrowser1.DocumentCompleted += new WebBrowserDocumentCompletedEventHandler(webBrowser1_DocumentCompleted);

            while (webBrowser1.ReadyState != WebBrowserReadyState.Complete)
            {
                Application.DoEvents();
            }

Это ожидание полной загрузки страницы ( как оказалось не воспринимает выполнение ajax скриптов)

Сейчас попробую Invoke, правда не совсем понял неопходом в этом случае theade или можно все прописать в обще потоке используя invoke и при этом сраница загрузится как надо?

[Reskov]

thread нужен чтобы не подвисал главный поток во время ожидания.. нам как-то надо просигнализуровать главному потоку что можно работать дальше, в предыдущем посте я привел примерную реализацию через бекгроунд воркер она скорей просто для ознакомления, лучше использовать именно thread и создавать webbrowser тоже в нем...

[SnaiperArts]

Reskov, если честно совсем запутался. Я не силен в этом всем.
Помогите пожалуйста получить код страницы с выполненным скриптом, чтобы получить прямую ссылку с нее

Вот так выглядит ссылка на запрос(без символа "_") _http://ru.savefrom.net/#url=http://narod.ru/disk/359767001/421329.zip.html
Он выдает прямую ссылку на файл...

Что я совсем запутался во всем этом... Помогите составить код если не сложно Вам.

[Reskov]

немножко коряво но у меня работает. на форме должна быть кнопка и текст бокс

        private void button1_Click(object sender, EventArgs e)
        {
            var t = new Thread(
                () =>
                    {
                        var webBrowser1 = new WebBrowser();
                        webBrowser1.Navigate(
                            "http://ru.savefrom.net/#url=http://narod.ru/disk/359767001/421329.zip.html");
                        int tick = 0;
                        while (tick<20000)
                        {
                            Thread.Sleep(100);
                            tick += 100;
                            Application.DoEvents();
                        }
                        var inputs = webBrowser1.Document.GetElementsByTagName("input");
                        textBox1.Invoke(new Action(() => { textBox1.Text += inputs[1].GetAttribute("value"); }));
                    });
            t.SetApartmentState(ApartmentState.STA);
            t.Start();
        }

[Reskov]

вот еще примерчик с бэкгроундворкером. пс надо локи поставить теоритически может выдать ссылку несколько раз

        WebBrowser webBrowser1 = new WebBrowser();

        private void button1_Click(object sender, EventArgs e)
        {
            webBrowser1.Navigate(
                "http://ru.savefrom.net/#url=http://narod.ru/disk/359767001/421329.zip.html");
 
            var t = new BackgroundWorker();
            t.DoWork += DoWork;
            t.WorkerReportsProgress = true;
            t.ProgressChanged += ProgressChanged;
            t.RunWorkerAsync();
        }

        private bool ajaxloaded;
        private void ProgressChanged(object sender, ProgressChangedEventArgs e)
        {
            if (webBrowser1.Document!=null)
            {
                var inputs = webBrowser1.Document.GetElementsByTagName("input");

                if (inputs.Count > 1 && !string.IsNullOrEmpty(inputs[1].GetAttribute("value")))
                {
                    ajaxloaded = true;
                    textBox1.Text += inputs[1].GetAttribute("value");

                }
            }
               

        }

        private void DoWork(object sender, DoWorkEventArgs e)
        {
            while (!ajaxloaded )
            {
                (sender as BackgroundWorker).ReportProgress(1);
                Thread.Sleep(1000);
            }
        }

[SnaiperArts]

Reskov, Огромное спасибо за решение моих проблем!!! Выручили очень сильно!

Использовал первый код, т.к. для меня он более понятен, хоть и коряв)) Второй пока осмыслить что там творится не хватает знаний(( Поверьте опыт программирования всего неделя, а уже куря манулы научился работать с базами данных, работать со стронними библиотека и сейчас вникаю в потоки... Хотя знания очень скудные, из-за чего туплю в некоторых моментах... И полагаю все таки надо почитать книги, правда попадаются очень скучные и нудные, на которые не хватает терпения...

Еще раз спасибо за решение проблем!

Ps тему пока не закрывайте) т.к. с толкнулся еще с рядом проблем, которые надеюсь решить самостоятельно...

[SnaiperArts]

Не долго я ликовал(( Вообщем странная ошибка происходит на определенных страницах.

После остановки программы ошибка показывает на слово foreach с пометкой "Ссылка на объект не указывает на экземпляр объекта." При чем если в xPath сменить на
//font[@size='2']

т.е. выдрать все font, выдает кучу текста(на всех страницах очень много тегов font). На другой же части страниц работает нормально

HtmlNodeCollection nodes = doc.DocumentNode.SelectNodes("//font[@size='2'][2]"); //  выбираю содержимое внутри второго font

            if (doc != null)
            {
                
                foreach (HtmlNode node in nodes) // ОШИБКА С пометкой Ссылка на объект не указывает на экземпляр объекта.
                {
                   
                   
                   if (node.InnerText.Trim().Replace(" ", "") != "" )// небольшая проверка на пустые строки и удаление мусора
                   {
                       richTextBox1.Text = richTextBox1.Text + node.InnerText.Trim().Replace("&nbsp;", "") + "<br/>";
                   }
                  
               }

В чем тут исключительная ситуация такая?