Парсинг страницы

[ShadowInject]

Отправляю пост запрос на страницу с последующим редиректом. Далее получаю код страницы. Нужно спарсить данные из кода. чем лучше всего это сделать ? И как это делается ? Только начал осваивать пост запросы

using System;
using System.IO;
using System.Net;
using System.Text;
using System.Windows.Forms;
 
namespace mysitecost
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }
 
        private void button1_Click(object sender, EventArgs e)
        {
            // Создать запрос с использованием URL
            WebRequest request = WebRequest.Create("http://mysitecost.ru/");
            // Установите свойство метода запроса в POST.
            request.Method = "POST";
            // Создать данные POST и преобразовать его в массив байтов.
            string postData = "domain="+ textBox1.Text +"&act=calculate";
            byte[] byteArray = Encoding.UTF8.GetBytes(postData);
            // Установите свойство ContentType в WebRequest.
            request.ContentType = "application/x-www-form-urlencoded";
            // Установите свойство ContentLength в WebRequest
            request.ContentLength = byteArray.Length;
            // Создаем поток запроса.
            Stream dataStream = request.GetRequestStream();
            // Записываем данные в поток
            dataStream.Write(byteArray, 0, byteArray.Length);
            // Закрываем поток
            dataStream.Close();
            // Получаем ответ
            WebResponse response = request.GetResponse();
            // Отображаем статус
            Console.WriteLine(((HttpWebResponse)response).StatusDescription);
            // Получаем содержимое потока, возращемый сервером
            dataStream = response.GetResponseStream();
            // Откройте поток, используя StreamReader для легкого доступа.
            StreamReader reader = new StreamReader(dataStream);
            // Читаем содержимое
            string responseFromServer = reader.ReadToEnd();
            // Отображаем содержимое
            textBox2.Text = responseFromServer;
            // Очищаем поток
            reader.Close();
            dataStream.Close();
            response.Close();
        }
    }
}

Вот попробывал с помощью регулярок, но при запуске ничего не отображается в текстбокс

using System;
using System.IO;
using System.Net;
using System.Text;
using System.Windows.Forms;
using System.Text.RegularExpressions;
 
namespace mysitecost
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }
 
        private void button1_Click(object sender, EventArgs e)
        {
            // Создать запрос с использованием URL
            WebRequest request = WebRequest.Create("http://mysitecost.ru/");
            // Установите свойство метода запроса в POST.
            request.Method = "POST";
            // Создать данные POST и преобразовать его в массив байтов.
            string postData = "domain="+ textBox1.Text +"&act=calculate";
            byte[] byteArray = Encoding.UTF8.GetBytes(postData);
            // Установите свойство ContentType в WebRequest.
            request.ContentType = "application/x-www-form-urlencoded";
            // Установите свойство ContentLength в WebRequest
            request.ContentLength = byteArray.Length;
            // Создаем поток запроса.
            Stream dataStream = request.GetRequestStream();
            // Записываем данные в поток
            dataStream.Write(byteArray, 0, byteArray.Length);
            // Закрываем поток
            dataStream.Close();
            // Получаем ответ
            WebResponse response = request.GetResponse();
            // Отображаем статус
            Console.WriteLine(((HttpWebResponse)response).StatusDescription);
            // Получаем содержимое потока, возращемый сервером
            dataStream = response.GetResponseStream();
            // Откройте поток, используя StreamReader для легкого доступа.
            StreamReader reader = new StreamReader(dataStream);
            // Читаем содержимое
            string responseFromServer = reader.ReadToEnd();
            // Отображаем содержимое
            //textBox2.Text = responseFromServer;
            string patern = "<meta property=\"og:title\" content=\"(.*)\" />'";
            Match result;
            result = Regex.Match(responseFromServer, patern);
            textBox2.Text = result.ToString();
            // Очищаем поток
            reader.Close();
            dataStream.Close();
            response.Close();
        }
    }
}

[ShadowInject]

Все вывело, но вместе с тегами, а нужно именно текст между тегов

using System;
using System.IO;
using System.Net;
using System.Text;
using System.Windows.Forms;
using System.Text.RegularExpressions;

namespace mysitecost
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }

        private void button1_Click(object sender, EventArgs e)
        {
            // Создать запрос с использованием URL
            WebRequest request = WebRequest.Create("http://mysitecost.ru/");
            // Установите свойство метода запроса в POST.
            request.Method = "POST";
            // Создать данные POST и преобразовать его в массив байтов.
            string postData = "domain="+ textBox1.Text +"&act=calculate";
            byte[] byteArray = Encoding.UTF8.GetBytes(postData);
            // Установите свойство ContentType в WebRequest.
            request.ContentType = "application/x-www-form-urlencoded";
            // Установите свойство ContentLength в WebRequest
            request.ContentLength = byteArray.Length;
            // Создаем поток запроса.
            Stream dataStream = request.GetRequestStream();
            // Записываем данные в поток
            dataStream.Write(byteArray, 0, byteArray.Length);
            // Закрываем поток
            dataStream.Close();
            // Получаем ответ
            WebResponse response = request.GetResponse();
            // Отображаем статус
            Console.WriteLine(((HttpWebResponse)response).StatusDescription);
            // Получаем содержимое потока, возращемый сервером
            dataStream = response.GetResponseStream();
            // Откройте поток, используя StreamReader для легкого доступа.
            StreamReader reader = new StreamReader(dataStream);
            // Читаем содержимое
            string responseFromServer = reader.ReadToEnd();
            // Отображаем содержимое
            //textBox2.Text = responseFromServer;
            string patern = "title\" content=(.*?) />";
            Match result;
            result = Regex.Match(responseFromServer, patern);
            textBox2.Text = result.ToString();
            // Очищаем поток
            reader.Close();
            dataStream.Close();
            response.Close();
        }
    }
}

[Alex11223]

Вот попробывал с помощью регулярок

Обычно лучше библиотеку типа HtmlAgilityPack взять. http://htmlagilitypack.codeplex.com/ (через NuGet в проект установите)

            string html = ...;

            var htmlDoc = new HtmlAgilityPack.HtmlDocument();
            htmlDoc.LoadHtml(html);

            var node = htmlDoc.DocumentNode.SelectSingleNode("//meta[@property='og:title' and @content]");

            if (node != null)
            {
                MessageBox.Show(node.OuterHtml);
                MessageBox.Show(node.Attributes["content"].Value);
            }

[ShadowInject]

Сообщение от Alex11223

Обычно лучше библиотеку типа HtmlAgilityPack взять. http://htmlagilitypack.codeplex.com/ (через NuGet в проект установите)

            string html = ...;

            var htmlDoc = new HtmlAgilityPack.HtmlDocument();
            htmlDoc.LoadHtml(html);

            var node = htmlDoc.DocumentNode.SelectSingleNode("//meta[@property='og:title' and @content]");

            if (node != null)
            {
                MessageBox.Show(node.OuterHtml);
                MessageBox.Show(node.Attributes["content"].Value);
            }

Как всегда огромное спасибо. Опробую

[ShadowInject]

Сообщение от Alex11223

Обычно лучше библиотеку типа HtmlAgilityPack взять. http://htmlagilitypack.codeplex.com/ (через NuGet в проект

А можно код прокоментировать ? Я ни че понять не могу. прочитал кучу информации про эту либу, а как она работает не пойму. Не пойму по какому принципу строинтся выражения для парсинга. НАшел 1 ману http://blog.baskovsky.ru/2012/11/html-agility-pack.html но и там не описано

[Alex11223]

Этот язык запросов называется XPath, почитайте что-нибудь про него или погуглите примеры.

[ShadowInject]

Сообщение от Alex11223

Этот язык запросов называется XPath, почитайте что-нибудь про него или погуглите примеры.

Спасибо за информацию. Ушел гуглить