Вопрос о приоритете скорости разными методами отправки в базу данных

[Jleksern]

Здравствуйте уважаемые программисты.
Суть вопроса.
Как лучше действовать чтоб выиграть в скорости загрузки данных в саму базу данных.

Как Я понимаю, что имею два метода.

1. Через PHP скрипт

PHP код:

<?php
$start = microtime(true);
$mysqli = new mysqli("localhost", "root", "Тут пассворд", "password");
ini_set('memory_limit', '1999M');
ini_set('max_execution_time', '9999999');
$filename = 'log.txt';
$i=0;
$error = 0;
$file1 = file('ALL_TEXT3.txt');

foreach($file1 as &$r){

$r = explode(":" ,$r);

  
    $a = "INSERT INTO login (name, pass) VALUES ('{$r['0']}','{$r['1']}'); ";
    $handle = fopen($filename, 'a');
    if ($mysqli->query($a)) {
        $i++;
    }  else 
    {
        fwrite($handle, $a);
        $error++;
    }
  }


$mysqli->close();
echo "Всего запрособ обработано - $i<br />";
echo "Ошибок в запросе - $error<br />";
if ($error > 0) {
echo " (сохранено в файл $filename)<br /> ";
}
$time = microtime(true) - $start;
printf("Средняя скорость запросов -  $i/  %.2F (запрос/сек) <br>", $time);
printf('Всё время выполнения - %.2F сек.<br />', $time);

?>

Вариант 2.
Привести всю базу к однообразному виду SQL запроса.
То есть в файле у меня храниться данные в виде login:pass
С начала перегнать их вид SQL запроса, опять же используя PHP скрипт для этого.

INSERT INTO login (name, pass) VALUES ('login','password');

А потом импортировать в саму БД.

Кажись всё просто, но это если их 500 штук.
А если 5 миллионов то тут время уже играет роль.
Какой способ лучше на ваше мнение?
И что можете порекомендовать с настройками для повышения скорость между PHP->MySQL.
Спасибо.

[ADSoft]

1. в мускуле есть станадртные средства загрузки из csv файлов - LOAD
2. если все же php+mysql - то нужно готовить запросы по 100-200 записей одновременно... тогда у вас будет на 5 млн запросов а 50 тыщ

[Jleksern]

Сообщение от ADSoft

2. если все же php+mysql - то нужно готовить запросы по 100-200 записей одновременно... тогда у вас будет на 5 млн запросов а 50 тыщ

В смысле в одном файле чтоб было 100-200 записей?)
Если так, то в этом случае у меня будет в папке храниться сотни тысячь текстовых файлов по 200 записей.
Или имеется в виду ещё один поток импортирования в базу?

[ADSoft]

имеется ввиду что запрос динамически строить в цикле....

INSERT INTO login (name, pass) VALUES ('login','password'), ('login','password'), ('login','password'), ('login','password');

итд 100 записей... и потом только исполнять запрос

[Jleksern]

Сообщение от ADSoft

имеется ввиду что запрос динамически строить в цикле....

INSERT INTO login (name, pass) VALUES ('login','password'), ('login','password'), ('login','password'), ('login','password');

итд 100 записей... и потом только исполнять запрос

Уловил Вашу идею.
Отличная идея.
Нужно будет придумать реализацию такого скрипта.

[ADSoft]

стандартный подход...

[Jleksern]

Товарищи, с горем пополам был создан такой скрипт.

PHP код:

<?php
$start = microtime(true);
$mysqli = new mysqli("localhost", "root", "", "password");
ini_set('memory_limit', '1999M');
ini_set('max_execution_time', '999999');
$filename = 'log.txt';
$i=0;
$error = 0;
$file1 = file('Import/xab4.txt');
$a = "";

foreach($file1 as &$r){
$r = explode(":",$r);
$log = $r[0]; $pas = $r[1];
if ($i%50 == 0)
{
if($i)
{
$a .= ";";
 // echo $a . "</br></br>";
  $mysqli->query($a);
}
$a = "INSERT INTO login (name, pass) VALUES ('$log', '$pas')";
}
else
{
$a .= ",('$log', '$pas')";
}
$i++;
}
if ($i%50)
{
$a .= ";";
 // echo $a . "</br></br>";
 $mysqli->query($a);
}


$mysqli->close();
echo "Всего запрособ обработано - $i<br  />";
echo "Ошибок в запросе - $error<br />";
if ($error > 0) {
echo " (сохранено в файл $filename)<br /> ";
}
$time = microtime(true) - $start;
printf("Средняя скорость запросов -  $i/  %.2F (запрос/сек) <br>", $time);
printf('Всё время выполнения - %.4F сек.<br />', $time);

?>

Итог: Скорость увеличилась в десятки раз. Мне чтоб загрузить 10 миллионов ушло 1-2 часа. Пару дней назад, с старыым скриптом импорт был 3 дня, для загрузки 10 миллионов.
Но появилась и проблема.
У меня компьютер зависать начал, на столько что курсор перестает двигаться.
ОС Ubuntu. Озу 2 гига. База данных mariadb, Php 5.4, Apache/2.2.22

На какие настройки нужно воздействовать, для решения проблемы?