Парсер XML на Java / C++

[Chaser_81]

Есть задача написать парсер XML-файла с товарами для интернет-магазина + заносить товары в БД сайта. Сам XML файл с товарами весит 250 Мб, есть и файлы по 500 Мб.

Сейчас работает парсер на PHP, однако парсинг + загрузка картинок на сервер (загружаются на сервер по внешним ссылкам) занимает порядка 12 часов, если парсить XML без картинок – 6.

Хотелось бы ускорить процесс в разы и запускать импорт из XML по крону, соответственно я так понимаю, что на Java или C++ это будет быстрее в разы, чем сейчас на PHP.

Жду ваших предложений реализации, цене и срокам.

[Black Fregat]

Напишите подробнее на black.fregat@gmail.com

[Julik2]

А не проще ли поставщика XML послать на NULL?
Во-первых, описание позиций практичнее создавать в виде текста.
Во-вторых, рациональнее делать: одна позиция - один файл. И конечно же никаких картинок в XML и тем более в БД.

Очевидно, не стоит и PHP использовать для парсинга таких слонов. Попробуйте XMLstarlet.

[Cuprum5]

Сообщение от Julik2

И конечно же никаких картинок в XML и тем более в БД.

- А что такого-то? Картинка в БД - это нормально. БД просто большая у него. Картинка - BLOB, отдельным файлом конечно же.

[Chaser_81]

Сообщение от Julik2

А не проще ли поставщика XML послать на NULL?
Во-первых, описание позиций практичнее создавать в виде текста.
Во-вторых, рациональнее делать: одна позиция - один файл. И конечно же никаких картинок в XML и тем более в БД.

Очевидно, не стоит и PHP использовать для парсинга таких слонов. Попробуйте XMLstarlet.

В XML ссылки на картинки на внешнем ресурсе. Их нужно качать отдельно

[Chaser_81]

Сообщение от Cuprum5

- А что такого-то? Картинка в БД - это нормально. БД просто большая у него. Картинка - BLOB, отдельным файлом конечно же.

Не ну сами картинки просто копируются на сервер конечно же. В БД только данные по товарам

[sauwork]

Смена php на другой язык не поможет в плане ощутимого преимущества обработки xml - доли секунд , проблема скорее всего с алгоритмом в целом , возможно с кол-вом данных в самой БД и поиске среди них.
Да и выгрузка данных с внешних ресурсов само собой тормозит процесс.

[Chaser_81]

Сообщение от sauwork

Смена php на другой язык не поможет в плане ощутимого преимущества обработки xml - доли секунд , проблема скорее всего с алгоритмом в целом , возможно с кол-вом данных в самой БД и поиске среди них.
Да и выгрузка данных с внешних ресурсов само собой тормозит процесс.

Поможет, например при многопоточной записи в бд, чего не умеет ПХП. Ну и парсер на С++ будут явно быстрее работать, чем на ПХП

[sauwork]

Поможет, например при многопоточной записи в бд, чего не умеет ПХП

почему это ? - в простом случае можно организовать запись в раздельных http запросах - каждый запрос уже в своем потоке , но тут многое от алгоритма зависит , если это запись в одну таблицу , результат будет нулевой.
Да и потом , на уровне сервера БД есть свои планы и очередь обработки поступающих запросов , так что приложение может и закончит работу раньше, а вот сервер БД еще долго будет пыхтеть над тем , что ему напихали.

Ну и парсер на С++ будут явно быстрее работать, чем на ПХП

не явно ) , сам по себе движок Php затратит лишь время на интерпретацию php инструкций в скрипте - которых будет там на пару тройку строчек , в этом вся разница между c++ и php , а в остальном не заметите особых преимуществ. Вот если бы у Вас сам листинг php был на 500 мб , тогда да.