|
|
Регистрация Восстановить пароль |
Повторная активизация e-mail |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
|
Опции темы | Поиск в этой теме |
19.01.2014, 10:52 | #1 |
Регистрация: 17.01.2014
Сообщений: 8
|
Парсер С# + добавление в базу
Привет всем человеки!
Тут такая тема со мной приключилась, меня взяли программистом C# на работу, хотя я его только начинаю осваивать, ну на испытательный срок. Сейчас стоит задача написать парсер сайтов, при нахождении нужных вариантов добавлении в базу. Проект по парсингу объявлений, если объявление прошло валидацию добавляем в базу. Вот я кратко обрисую: 1. HTML страница (каталог объявлений, скачивается полностью); 2. Находятся html элементы (ищем ссылку на каждое объявление); 3. Проверяем уникальность объявления; 4. Скачиваем HTML страницу объявления 5. Находим в html элементах данные 6. Проводим валидацию (при прохождении валидации заносим в базу); 7. Если не были найдены необходимые данные объявление заносится в базу в таблицу ban_list вот такие пироги, в целом это реализовать это реализовать надо как то так, если у кого есть предложения по лаконичнее и изящнее буду только рад. Откликнитесь пожалуйста, кто сталкивался с чем то подобным, хочу остаться на этой работе, осваиваю C# как могу, но результат еще не показал уже есть какие то примеры с кодом но они корявые и распознают только 60% от всего объема, поэтому если нужно я выложу Спасибо всем большое |
19.01.2014, 11:03 | #2 | |
Белик Виталий :)
Старожил
Регистрация: 23.07.2007
Сообщений: 57,097
|
Попробуй начать отсюда:
http://yandex.ua/yandsearch?text=Web...oc=10&lr=20554 Цитата:
I'm learning to live...
|
|
19.01.2014, 11:03 | #3 |
Подтвердите свой е-майл
Регистрация: 29.08.2012
Сообщений: 4,011
|
увольнять, нечего занимать чужое место
|
19.01.2014, 11:12 | #4 |
Регистрация: 17.01.2014
Сообщений: 8
|
место не чужое друзья, а как раз мое просто нужно немного помочь)
|
19.01.2014, 11:22 | #5 |
Регистрация: 17.01.2014
Сообщений: 8
|
код
Вот к примеру для каждого сайта создается свой класс, и там примерно такое содержание
|
20.01.2014, 17:05 | #6 |
Пользователь
Регистрация: 04.01.2011
Сообщений: 66
|
Собсна довольно тривиальная задача.
Что скачивание страницы, что парсинг осуществляются одной командой. Я пару тем назад как раз приводил пример. Если нужен подробный код, можешь стукнуть в лс |
20.01.2014, 17:21 | #7 |
Старожил
Регистрация: 19.08.2009
Сообщений: 2,119
|
Костанта
инфа для гоогления: вытягивать данные с url - WebRequest парсить html - библиотека HtmlAgilityPack проверка ссылок (уникальные ID и пр. - регулярные выражения) работа с БД - ado.net (например класс OleDbConnection и др.) меня взяли программистом C# на работу, хотя я его только начинаю осваивать, ну на испытательный срок. братюнь, если будут после испытательного срока задания, скидывай их сюда. поможем, за 50% ЗП :D
А вы почему со мной не соглашаетесь, у вас что, импотенция? (c) ACE Valery
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Скрипт с добавление в базу | Валенсия34 | PHP | 1 | 04.10.2012 19:51 |
Добавление данных в базу | Волк | C# (си шарп) | 0 | 23.05.2012 11:45 |
добавление в базу | Pein95 | PHP | 7 | 13.04.2011 23:47 |
Добавление в базу не повторяясь (Делфи) | hackmegrom | БД в Delphi | 9 | 13.10.2010 12:15 |
Парсер из XLS в базу SQL | arnandez | Фриланс | 10 | 18.12.2009 10:16 |