|
|
Регистрация Восстановить пароль |
Повторная активизация e-mail |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
|
Опции темы | Поиск в этой теме |
25.08.2018, 21:09 | #1 |
Пользователь
Регистрация: 16.10.2010
Сообщений: 51
|
как правильно подсчитать требования к производительности
Такой вопрос.
Необходимо произвести расчет (просканировать данные по определенному алгоритму), по файлу данных (csv), который отражает ряд измерений во времени. Его размеры за период: 1 день - 10-20мб (200 000 строк) 1 месяц - 200-500мб (4 000 000 строк) 1 год - 2-5Гб (40 000 000 строк) Есть компьютер, с памятью 16Гб. Могу я поставить задачу программисту, на обсчет данных, сразу за период по одному году? Можно ли средствами VBA, такой расчет производить не выгружая данные в память, находя внутри отдельного файла нужные отрезки по времени (фильтры), не нарезая специально файл на эти отрезки? Грубо говоря, могу я, теоретически, просто слить данные все в один огромный файл (за 5 лет например, и он будет точно больше чем 4Гб размером), а если нужен будет просчет периода с 2 по 4 год, то просто задать это как фильтр, в алгоритме обсчета? Спасибо за помощь! |
25.08.2018, 21:33 | #2 |
Старожил
Регистрация: 12.01.2011
Сообщений: 19,500
|
Да, не обязательно загружать все в память.
Даже за год можно не держать в памяти если это не нужно для расчета (например для среднего значения можно просто читать по одной строке и прибавлять сумму и количество).
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом. |
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Падение производительности | O m n i s | Софт | 4 | 30.09.2013 14:58 |
Как узнать системные требования к программи | Sylar9 | Общие вопросы C/C++ | 4 | 19.03.2012 22:46 |
Информация о производительности | Blade | Общие вопросы C/C++ | 2 | 24.11.2009 23:04 |
Выбор CMS. Требования как вроде бы просты | EVadik | WordPress и другие CMS | 4 | 06.06.2009 12:36 |