Сформировать из 30 таблиц 15 000 таблиц, за 15 минут.

[Virtson]

Сообщение от doober

Я смог добиться времени работы с выводом информации в районе 24 часов.На выходе информация-16 гигов.

Какой формат, поддерживаемый Excel, Вы использовали непосредственно для записи данных ? Процесс шел ч.з OLE или напрямую ?

[doober]

Excel я не использовал,для первоначального создания таблиц использовал чтение файла через NativeExcel.dll .написанную под NET,она шустрее работает.
Таблицы создал в файле mdb и в дальнейшем работал с ними.
Далее выборка по дате с таблицы и и перетасовка временной таблицы по алгоритму ТС .
Итого с листа порядка как минимум 300 таких табличек составляют одну выходную таблицу.
Получилось порядка 8 секунд на готовую таблицу.Тогда я еще выводил 8820 таблиц,сейчас количество возросло

[AlexTuka]

Так как решение этой проблемы интересует многих, то считаю своим долгом написать про проделаную мною работу по созданию такой "чудо программы" :-)
Сразу оговорюсь, что достичь желаемых 15 мин. не я так и не смог (много времени уходит на сохранение файлов), но думаю что это возможно впринцыпе. Я исходный xls файл сначала конвертировал в 30 csv (считаные секунды потратил), потом на основе каждого из них сгенерировал 15 000 файлов (по 500 на каждый csv) и результат сохранил тоже в csv. Такие манипуляции позволили мне уложиться в 29 мин. и 9 гиг. информации на выходе.

[motorway]

Может, можно как-то ускорить решение за счет распараллеливания на несколько компов + если все это делать на C || C++, то быстрее будет?

[ADSoft]

долгое время вникал в процесс формирования таблиц... до конца не понял. Так же не понял смысла их формирования..... честно.

Имхо данных 1 - а таблица.... клиента интересуют всевозможные комбинации ...перестановки итд... читал - там числа с факториалами.... ИМХО - нереально
можно понять начальную и конечную задачу

[Virtson]

ADSoft, соглашусь.
Я тоже не совсем понял, со своим математическим образованием =)

[Black Fregat]

Главное - непонятна необходимость пихать все эти комбинации в таблицы..

[kola672]

Задача выполнена. Благодарю ADSoft.

[kola672]

Не обессудьте произошла накладка. Работу выполнил AlexTuka.

[Don Karleone]

интересно, какова же стоимость?