Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > .NET Frameworks (точка нет фреймворки) > C# (си шарп)
Регистрация

Восстановить пароль
Повторная активизация e-mail

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 16.09.2012, 14:12   #1
Vikenty
Заслуженный флудер
Участник клуба
 
Аватар для Vikenty
 
Регистрация: 31.03.2010
Сообщений: 1,473
По умолчанию Подгрузка файла частями

Здравствуйте. Есть текстовый файл весом 1-10 гб.
Как его можно подгружать частями? например загрузить в List<string> 500 000 строк, использовать, загрузить следующие 500 000 и тд.
Буду благодарен за любой совет
Vikenty вне форума Ответить с цитированием
Старый 16.09.2012, 14:44   #2
Stilet
Белик Виталий :)
Старожил
 
Аватар для Stilet
 
Регистрация: 23.07.2007
Сообщений: 57,097
По умолчанию

Загружай в массив символов скажем по мегабайту. После отсекай все что после последнего символа CR, дабы так сказать выйти на точку следующей загрузки.
После Split-уй на строки (это же шарп )
Ну и так далее - залил массив символов - отсплитовался - обработал
I'm learning to live...
Stilet вне форума Ответить с цитированием
Старый 16.09.2012, 15:14   #3
Selestis
Форумчанин
 
Аватар для Selestis
 
Регистрация: 21.01.2009
Сообщений: 719
По умолчанию

асинхронная загрузка поможет отцу русской демократии)
Изобретатель велосипедов
Selestis вне форума Ответить с цитированием
Старый 16.09.2012, 15:24   #4
Vikenty
Заслуженный флудер
Участник клуба
 
Аватар для Vikenty
 
Регистрация: 31.03.2010
Сообщений: 1,473
По умолчанию

Цитата:
Сообщение от Stilet Посмотреть сообщение
Загружай в массив символов скажем по мегабайту. После отсекай все что после последнего символа CR, дабы так сказать выйти на точку следующей загрузки.
После Split-уй на строки (это же шарп )
Ну и так далее - залил массив символов - отсплитовался - обработал
Нужно чтобы не приходилось грузить весь файл в память ( 5 гб ), даже на короткое время.
Vikenty вне форума Ответить с цитированием
Старый 16.09.2012, 16:50   #5
Stilet
Белик Виталий :)
Старожил
 
Аватар для Stilet
 
Регистрация: 23.07.2007
Сообщений: 57,097
По умолчанию

Ну дык я и предлагаю грузить порциями, и порции же и обрабатывать
Иногда сам так и делаю.
I'm learning to live...
Stilet вне форума Ответить с цитированием
Старый 17.09.2012, 04:14   #6
Пепел Феникса
Старожил
 
Аватар для Пепел Феникса
 
Регистрация: 28.01.2009
Сообщений: 21,000
По умолчанию

StreamReader итак же позволяет читать строки, задать просто размер буфера побольше стандартного чтоб реже дергать файл.
Хорошо поставленный вопрос это уже половина ответа. | Каков вопрос, таков ответ.
Программа делает то что написал программист, а не то что он хотел.
Функции/утилиты ждут в параметрах то что им надо, а не то что вы хотите.
Пепел Феникса вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц



Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Реализация идеи. подгрузка из файла mirоtvorec C++ Builder 3 20.06.2012 11:04
передача файла частями TcpServer TcpClient Alexandr555 Работа с сетью в Delphi 7 02.01.2012 18:04
подгрузка картинки bloger PHP 1 07.11.2011 14:13
Передавать файл через сокет частями NieL Работа с сетью в Delphi 0 08.12.2009 16:42
GDI+.Увеличение масштаба на дробную величину. Проблемы с дробными частями коордиат akolit Win Api 0 13.02.2009 18:02