Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > .NET Frameworks (точка нет фреймворки) > C# (си шарп)
Регистрация

Восстановить пароль
Повторная активизация e-mail

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 19.01.2014, 10:52   #1
Костанта
 
Регистрация: 17.01.2014
Сообщений: 8
Вопрос Парсер С# + добавление в базу

Привет всем человеки!

Тут такая тема со мной приключилась, меня взяли программистом C# на работу, хотя я его только начинаю осваивать, ну на испытательный срок.
Сейчас стоит задача написать парсер сайтов, при нахождении нужных вариантов добавлении в базу. Проект по парсингу объявлений, если объявление прошло валидацию добавляем в базу.

Вот я кратко обрисую:

1. HTML страница (каталог объявлений, скачивается полностью);
2. Находятся html элементы (ищем ссылку на каждое объявление);
3. Проверяем уникальность объявления;
4. Скачиваем HTML страницу объявления
5. Находим в html элементах данные
6. Проводим валидацию (при прохождении валидации заносим в базу);
7. Если не были найдены необходимые данные объявление заносится в базу в таблицу ban_list

вот такие пироги, в целом это реализовать это реализовать надо как то так, если у кого есть предложения по лаконичнее и изящнее буду только рад.

Откликнитесь пожалуйста, кто сталкивался с чем то подобным, хочу остаться на этой работе, осваиваю C# как могу, но результат еще не показал

уже есть какие то примеры с кодом но они корявые и распознают только 60% от всего объема, поэтому если нужно я выложу
Спасибо всем большое
Костанта вне форума Ответить с цитированием
Старый 19.01.2014, 11:03   #2
Stilet
Белик Виталий :)
Старожил
 
Аватар для Stilet
 
Регистрация: 23.07.2007
Сообщений: 57,097
По умолчанию

Попробуй начать отсюда:
http://yandex.ua/yandsearch?text=Web...oc=10&lr=20554
Цитата:
поэтому если нужно я выложу
Выкладывай конечно )
I'm learning to live...
Stilet вне форума Ответить с цитированием
Старый 19.01.2014, 11:03   #3
eval
Подтвердите свой е-майл
 
Регистрация: 29.08.2012
Сообщений: 4,011
По умолчанию

увольнять, нечего занимать чужое место
eval вне форума Ответить с цитированием
Старый 19.01.2014, 11:12   #4
Костанта
 
Регистрация: 17.01.2014
Сообщений: 8
По умолчанию

место не чужое друзья, а как раз мое просто нужно немного помочь)
Костанта вне форума Ответить с цитированием
Старый 19.01.2014, 11:22   #5
Костанта
 
Регистрация: 17.01.2014
Сообщений: 8
По умолчанию код

Вот к примеру для каждого сайта создается свой класс, и там примерно такое содержание
Вложения
Тип файла: txt Новый текстовый документ.txt (15.4 Кб, 144 просмотров)
Костанта вне форума Ответить с цитированием
Старый 20.01.2014, 17:05   #6
alexusankov
Пользователь
 
Регистрация: 04.01.2011
Сообщений: 66
По умолчанию

Собсна довольно тривиальная задача.
Что скачивание страницы, что парсинг осуществляются одной командой.
Я пару тем назад как раз приводил пример.
Если нужен подробный код, можешь стукнуть в лс
alexusankov вне форума Ответить с цитированием
Старый 20.01.2014, 17:21   #7
Rififi
Старожил
 
Регистрация: 19.08.2009
Сообщений: 2,119
По умолчанию

Костанта

инфа для гоогления:

вытягивать данные с url - WebRequest
парсить html - библиотека HtmlAgilityPack
проверка ссылок (уникальные ID и пр. - регулярные выражения)
работа с БД - ado.net (например класс OleDbConnection и др.)

меня взяли программистом C# на работу, хотя я его только начинаю осваивать, ну на испытательный срок.

братюнь, если будут после испытательного срока задания, скидывай их сюда. поможем, за 50% ЗП :D
Rififi вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц



Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Скрипт с добавление в базу Валенсия34 PHP 1 04.10.2012 19:51
Добавление данных в базу Волк C# (си шарп) 0 23.05.2012 11:45
добавление в базу Pein95 PHP 7 13.04.2011 23:47
Добавление в базу не повторяясь (Делфи) hackmegrom БД в Delphi 9 13.10.2010 12:15
Парсер из XLS в базу SQL arnandez Фриланс 10 18.12.2009 10:16