|
|
Регистрация Восстановить пароль |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
|
Опции темы | Поиск в этой теме |
01.09.2013, 09:58 | #1 |
Форумчанин
Регистрация: 14.10.2011
Сообщений: 137
|
Вопрос о приоритете скорости разными методами отправки в базу данных
Здравствуйте уважаемые программисты.
Суть вопроса. Как лучше действовать чтоб выиграть в скорости загрузки данных в саму базу данных. Как Я понимаю, что имею два метода. 1. Через PHP скрипт PHP код:
Вариант 2. Привести всю базу к однообразному виду SQL запроса. То есть в файле у меня храниться данные в виде login:pass С начала перегнать их вид SQL запроса, опять же используя PHP скрипт для этого. Код:
Кажись всё просто, но это если их 500 штук. А если 5 миллионов то тут время уже играет роль. Какой способ лучше на ваше мнение? И что можете порекомендовать с настройками для повышения скорость между PHP->MySQL. Спасибо. Последний раз редактировалось Jleksern; 01.09.2013 в 10:00. |
01.09.2013, 10:21 | #2 |
Старожил
Регистрация: 25.02.2007
Сообщений: 4,179
|
1. в мускуле есть станадртные средства загрузки из csv файлов - LOAD
2. если все же php+mysql - то нужно готовить запросы по 100-200 записей одновременно... тогда у вас будет на 5 млн запросов а 50 тыщ |
01.09.2013, 10:26 | #3 | |
Форумчанин
Регистрация: 14.10.2011
Сообщений: 137
|
Цитата:
Если так, то в этом случае у меня будет в папке храниться сотни тысячь текстовых файлов по 200 записей. Или имеется в виду ещё один поток импортирования в базу? |
|
01.09.2013, 10:32 | #4 |
Старожил
Регистрация: 25.02.2007
Сообщений: 4,179
|
имеется ввиду что запрос динамически строить в цикле....
Код:
|
01.09.2013, 10:40 | #5 | |
Форумчанин
Регистрация: 14.10.2011
Сообщений: 137
|
Цитата:
Отличная идея. Нужно будет придумать реализацию такого скрипта. |
|
01.09.2013, 10:47 | #6 |
Старожил
Регистрация: 25.02.2007
Сообщений: 4,179
|
стандартный подход...
|
05.09.2013, 14:28 | #7 |
Форумчанин
Регистрация: 14.10.2011
Сообщений: 137
|
Товарищи, с горем пополам был создан такой скрипт.
PHP код:
Но появилась и проблема. У меня компьютер зависать начал, на столько что курсор перестает двигаться. ОС Ubuntu. Озу 2 гига. База данных mariadb, Php 5.4, Apache/2.2.22 На какие настройки нужно воздействовать, для решения проблемы? |
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Вопрос о скорости PDO ? | Haroutweb | PHP | 1 | 25.08.2012 12:35 |
программа для измерения скорости ввода данных с жесткого диска | dark23 | Assembler - Ассемблер (FASM, MASM, WASM, NASM, GoASM, Gas, RosAsm, HLA) и не рекомендуем TASM | 1 | 21.06.2012 09:54 |
Частота отправки данных в UDP | alexlogvinenkoit | C/C++ Сетевое программирование | 10 | 11.05.2012 15:17 |
Вычисление опред.интеграла разными методами(С++) | Knok69 | Помощь студентам | 0 | 08.05.2010 20:29 |