Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > Скриптовые языки программирования > Python
Регистрация

Восстановить пароль
Повторная активизация e-mail

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 09.04.2024, 18:03   #1
Kapkom
Пользователь
 
Регистрация: 22.09.2014
Сообщений: 27
По умолчанию Чтение огромных xml-файлов

Добрый день!

У меня есть код по превращению xml-файла в DataFrame:

ColNames = ['ObjectId','DateEnd','ZagolType','Z agolValue1']
df_list = []
tstep = 0

for fl in ListFxml2:
if '_houses_params' in fl.lower():
tree = ET.parse(Pxml + '/' + fl)
root = tree.getroot()
for level in root:
row = [level.attrib['OBJECTID'],level.attrib['ENDDATE'],level.attrib['TYPEID'],level.attrib['VALUE']]
df_list.append(row)
else: pass

DFhouseParam = pd.DataFrame(df_list, columns=ColNames)

Этот код хорошо отрабатывает на файле, весом 1,7гб. Но на файле 3,77гб подвисает на шаге tree = ET.parse(Pxml + '/' + fl), и процедура в итоге вылетает (автоматически перезагружается kernel).

Подскажите, пожалуйста, как ещё можно прочитать в Python такой огромный xml-файл?
Или как его можно раздробить (без ET.parse)?

Буду очень благодарен за помощь!
Kapkom вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц



Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Чтение и запись бинарных файлов огромных размеров без использования массивов Kol1k C# (си шарп) 1 28.06.2021 09:27
Сравнение огромных (невероятно огромных) чисел Scrzii Помощь студентам 4 25.11.2018 20:56
чтение файлов .xml aldeano Microsoft Office Excel 4 14.12.2013 18:18
чтение wav файлов asdbsa Общие вопросы C/C++ 2 21.10.2013 12:15
чтение ini файлов Sparky Помощь студентам 2 21.05.2012 16:48