БД с помощью json

[Ципихович Эндрю]

у меня файл базы слов находится в файле WordDB.json это json-файл, созданный из изначальной sqlite-базы, этот файл из 1 строки длиной 251 млн+ знаков. Как этот файл на ЯП Питон преобразовать в файл с переносами строк, чтобы работала также как сейчас?
Начало БД:
{"позвонить":[{"ID":6120,"WordForm":"позвонить"," Hash":"","HashValue":0,"IsBase":tru e,"BaseWord":null,"Descriptor":{
Окончание БД:
erson":2,"GlagolTime":4},"ID":91000 25,"Hash":"","HashValue":0}]}
моя попытка:

file = r'C:\Server\data\htdocs\data\WordDB.json'
file1 = r'C:\Server\data\htdocs\data\1WordDB.json'
with open(file, 'r') as f:
    json_str = f.read()

json_str_new = json_str.replace('},{"ID"', '},\n{"ID"')

with open(file1, 'w') as f:
    f.write(json_str_new)
print('Окончено')

теперь строк 34000 - ну по моему это НЕ то
все строки кроме первой начинаются с {"ID":
но в тоже время в строках файла не одно упоминание об "ID"
все строки разной длины, понятно, что они не могут быть одной длины, но разница по длине у строк бывает разительная
спасибо

[ViktorR]

Недавно читал одну книжку:

Юн Цуй, Рецепты Python. Коллекция лучших техник программирования. — СПб.: Питер, 2024.

В этой книге есть параграф: 9.3. КАК ПОДГОТОВИТЬ И ОБРАБОТАТЬ ДАННЫЕ JSON

В частности, рассматривается модуль json Питона и некоторые методы работы с подобными файлами.
Если ваш файл действительно в формате json, то есть надежда, что книга поможет .

Книгу, ещё недавно, можно было найти в Сети.

[DeepFlake]

Попробуйте так:
подправите для своего файла.

import mmap
with open("hello.txt", "r+b") as f:
    mm = mmap.mmap(f.fileno(), 0)
    s4=mm.read()
    s5=s4.replace(b"pr",b"pr\n")
    with open('h2.txt', 'wb') as f2:
        f2.write(s5)
    mm.close()

[Ципихович Эндрю]

Сообщение от DeepFlake

mmap

это прям критично?
я впервые сталкиваюсь с таким ...
соль здесь?

Сообщение от DeepFlake

replace(b"pr",b"pr\n")

так?

file = r'C:\Server\data\htdocs\data\WordDB.json'
file1 = r'C:\Server\data\htdocs\data\1WordDB.json'
with open(file, 'r') as f:
    json_str = f.read()

json_str_new = json_str.replace(b"pr",b"pr\n")

with open(file1, 'w') as f:
    f.write(json_str_new)
print('Окончено')

[Ципихович Эндрю]

Сообщение от Ципихович Эндрю

так?

опробовал - всё также очень длинная 1 строка

[Ципихович Эндрю]

file = r'C:\Server\data\htdocs\data\WordDB.json'
file1 = r'C:\Server\data\htdocs\data\1WordDB.json'
import mmap
with open(file, "r+b") as f:
    mm = mmap.mmap(f.fileno(), 0)
    s4=mm.read()
    s5=s4.replace(b"pr",b"pr\n")
    with open(file1, 'wb') as f2:
        f2.write(s5)
    mm.close()

Сообщение от Ципихович Эндрю

опробовал - всё также очень длинная 1 строка

[DeepFlake]

насколько я понял, запись в таблице бд начинается с последовательности "ID": ,
вот перед ней надо поставить переход на новую строку.
b"pr",b"pr\n" - это я только для примера сделал, а у вас должно быть:

file = r'C:\Server\data\htdocs\data\WordDB.json'
file1 = r'C:\Server\data\htdocs\data\1WordDB.json'
import mmap
with open(file, "r+b") as f:
    mm = mmap.mmap(f.fileno(), 0)
    s4=mm.read()
    s5=s4.replace(b'"ID":',b'\n"ID":')
    with open(file1, 'wb') as f2:
        f2.write(s5)
    mm.close()

если запись в таблице бд начинается с последовательности {"ID":
то

file = r'C:\Server\data\htdocs\data\WordDB.json'
file1 = r'C:\Server\data\htdocs\data\1WordDB.json'
import mmap
with open(file, "r+b") as f:
    mm = mmap.mmap(f.fileno(), 0)
    s4=mm.read()
    s5=s4.replace(b'{"ID":',b'\n{"ID":')
    with open(file1, 'wb') as f2:
        f2.write(s5)
    mm.close()

обязательно ли здесь делать преобразования через mmap - честно говоря не знаю, потому что у меня нет такого большого текстового файла для эксперимента. На маленьких файлах mmap не нужен точно. А если большие файлы - возможно будет экономия памяти с ним.