База для нейросети

[Smitt&Wesson]

Сообщение от Sibedir

Smitt&Wesson, молодец, садись, пять. Не мороч топикстартеру голову (нам ты её всёравно не заморочишь ). Для описаной задачи 100 потоков - это перебор (и не надо ля-ля про приостановленные потоки). Потоков должно быть в этой задачи N-1, где N - кол-во ядер (физических или логических? не знаю. тут, кажется, тонко). А картинки должны вставать в одну очередь, из которой потоки и будут их забирать.
Да вот, собственно, и всё.

Sibedir, садись, два.
Процессоры, ядра и потоки. Топология систем.

[Человек_Борща]

Вы многопоточные приложения не видели? Мне интересно, как выполнить цикл по сравнению одного изображения с базой и сделать это наиболее быстрым и экономичным способом. Программа работает в несколько потоков, т.е. параллельно должны распозноваться несколько картинок

Если распараллелить сравнение 1 картинки на 4 потока, и запускать по 4 картинки за раз, сравнивать вы будете в 16 потоков, но в 4 раза быстрее, чем если бы вы сравнивали по картинке на поток.

По хорошему же в многопоточном приложении есть пул потоков, которому просто скармливается картинка, а пул сам разбирается - выделить ли ещё работников или занять делом бездельников.

[Smitt&Wesson]

Сообщение от Человек_Борща

Если распараллелить сравнение 1 картинки на 4 потока, и запускать по 4 картинки за раз, сравнивать вы будете в 16 потоков, но в 4 раза быстрее, чем если бы вы сравнивали по картинке на поток.

По хорошему же в многопоточном приложении есть пул потоков, которому просто скармливается картинка, а пул сам разбирается - выделить ли ещё работников или занять делом бездельников.

Вот тут согласен. Не важно, сколько создано логических потоков. За их распределением по физическим процессорам (ядрам) следит супервизор операционной системы. Есть ещё тонкость. Можно создать простой поток, а можно - привелигированный. Отличие в том, что обычный, выполняется в порядке очерёдности, а привилегированный, в момент освобождения любого из ядер. Т.е. имеет наивысший приоритет прерываний.

[Аватар]

Если распараллелить сравнение 1 картинки на 4 потока, и запускать по 4 картинки за раз, сравнивать вы будете в 16 потоков, но в 4 раза быстрее, чем если бы вы сравнивали по картинке на поток.

За счет каких ресурсов для этой задачи на 4-ядернике, например, это произойдет? Бестолковые 16 потоков вместо 4 на 4-ядернике только замедлят

[Sibedir]

Сообщение от Smitt&Wesson

Sibedir, садись, два.
Процессоры, ядра и потоки. Топология систем.

Для ДАННОЙ задачи, Smitt&Wesson. Для данной, конкретно этой задачи. 100 потоков с одним исполняемым кодом на одной области данных - вот это 2.

[Smitt&Wesson]

Сообщение от Sibedir

Для ДАННОЙ задачи, Smitt&Wesson. Для данной, конкретно этой задачи. 100 потоков с одним исполняемым кодом на одной области данных - вот это 2.

Да я вообще не об этих злосчастных 100 потоках. Пусть их будет 1, 10, 100 или 1000. Я о том, что это логические потоки, а ядра их выполняют по мере освобождения. Один и тот-же поток, в разные промежутки времени, может выполняться на разных ядрах. Причём, выполняется только временнОй квант, а не весь поток в целом. И давай прекратим (оба) ставить друг-другу оценки. Прикол-приколом, но это уже не смешно.

[Человек_Борща]

За счет каких ресурсов для этой задачи на 4-ядернике, например, это произойдет? Бестолковые 16 потоков вместо 4 на 4-ядернике только замедлят

как уже написал смит, с этим разберется система, особенно после появления в мире ПК многоядерного рейтинга.
Я бы вообще организовал пул с очередью данных, где пул содержит 8 потоков, где каждый получает 1/8 файла, а так же пул содержит очередь данных где уже все разбито по 1/8, а потоки только занимают обработкой своего куска и выдают результат.
А если продумать так, что потоки не ждут своих братьев, а обработал кусок и выставил бит в 0 или 1 и пошел дальше, вообще летать все будет.

Привет. Такой вопрос. Как лучше хранить изображения для нейросети? Изображения черно-белые. Сейчас храню в .txt списком. Каждая строка - 513 символов, где 513 - значение. Строка состоит из 0 и 1.. Доступ быстрый, но при 100 потоках вылезает EOutOfResources - Error creating window device context..

I/O операции самые медленные. Используйте СУБД SQLite в купе с транзакциями.
СУБД позаботится о быстрой выборке данных, а транзакции обеспечат быструю запись в файл независимо от кол-во данных (50 млн. строк данных, транзакцией записывается примерно за 3-5 сек.).

На счет

EOutOfResources - Error creating window device context

показывайте код, что-то вы там совсем намудрили.

[Pavia]

Smitt&Wesson

Поток, это задание!

Да, так может сказать тот, кто дело не имел с потоками.
Потоки сродни задачам. Но не равны им.
Разница хорошо показано в книге: Там одна глава посвещена задачам другая потокам.
К. Хьюз, Т. Хьюз-Параллельное и распределенное программирование с использованием C++-Вильямс (2005).djvu

Один поток может выполнять много задач. К примеру при помощи очереди команд(задач).

Сообщение от Smitt&Wesson

Перевернул всё с ног на голову! (Ну, не ты единственный).

Традиционный вопрос на программёрсе: Чё курим? Не! Я такого не хочу! Мне и водки хватает за глаза!

Современные операционные системы. 2-е изд. Эндрю Тенебаун.
Там прекрасно рассказано почему потоки не могут спать спокойно.

Что касается 650 поток в системе, то подели их на 50 процессов получишь 13 потоков на процесс.

Что вполне уживается. Но как только потоков становиться около 100 в одном процессе, то они начинают мешать друг другу. Притом так, что производительность падает ниже случая последовательного исполнения задач.

Тест на 2хпроцессорной системе времён 200х годов.

Наибольшую производительность показывает числе потоков 2 и правильной архитектуре программы.

[Smitt&Wesson]

Сообщение от Pavia

Smitt&Wesson
Да, так может сказать тот, кто дело не имел с потоками.

Ха-ха-ха. Насмешил . Ну, да ладно. Ты ведь лучше меня знаешь, имел я дело с потоками или не имел .
Но, если говорить о МАКСИМАЛЬНОМ быстродействии. Винду, нужно полностью исключить из процесса (её супервизор, имеет привилегированный статус). Исключить запросы прерываний и ПДП. Что остаётся? А ни чего не остаётся. Остаётся аппаратная часть без нифига. Пишем под неё на Асме, всё, что пожелаем. Без супервизора, да. Остаётся два ядра. Организуем на каждое по потоку (который уже и не поток). Просто грузим эти два ядра своими кодами. И получаем, полную Ж проблемм, зато можем сказать - Во! Я добился максимального быстродействия!

[darkwellroad]

Блин, ну и срач вы тут развели... Сори за оффтоп. Тему можно наверно закрывать.. Буду писать дальше. И кстати... Как организовать пул из изображений без критической секции?