Угрозы интеграции автоматизированных технологий для человечества

[IvanFuture]

такое чувство что ТС очередной фантаст-пессимист, не сильно-то разбирающийся в области на которую полез.

Я как раз считаю себя реалистом в слишком фантастической области) И да, я не профессионал, хотя несколько лет интересуюсь темой ИИ, в том числе с точки зрения аналитики. С темой я знаком, но в своих публикациях стремлюсь больше затронуть не техническую сторону, а психологическую и философскую.

вообще, если подумать, проблема, что поднял ТС вполне реальна, но лишь в том случае если не будут прописаны основные законы робототехники, то есть по прямой вине разработчиков, а не из-за совершенства ИИ.

Согласен, но как я уже писал, классических трех законов здесь явно не достаточно. Вернее они слишком общие и фантастичные.

Машина собирающая трупы. За каждый собранный труп машина получает положительный выигрыш. Машина оснащена датчика для обнаружения живых и мертвых тел животных. Разрабы забыли внести отрицательное вознаграждение за наезд на живых, а т.к. цель самообучающейся машины максимизировать выигрыш в долгосрочный период, то она решает давить живых и собирать трупы, а решение ей приходит после пары случайных происшествий, пару кошек/собак/крыс задавила.

Проблема нанесения вреда человека из-за отказавшего оборудования актуальна уже давно, но чем дальше в будущее тем сложнее и связаннее между собой различный устройства, т.е. при отказе одного из элементов системы ломается вся система целиком, а также все больше вреда наносят такие отказы для человека.

Например имеется система управления расписанием поездов. Эта система переключается развилки управляет движением поездов. Если такая система полетит в результате того что писалась на супер новом языке где переменные i,j,k стразу инициализируются 1 в циклах, а программист по старой привычке присвоил им 0 и спокойно пьет свой чай, в то время как 2 пассажирских скоростных поезда на скоростях в 300 км/ч врезаются лоб в лоб.

Тоже согласен.

[Abstraction]

За каждый собранный труп машина получает положительный выигрыш. Машина оснащена датчика для обнаружения живых и мертвых тел животных. Разрабы забыли внести отрицательное вознаграждение за наезд на живых, а т.к. цель самообучающейся машины максимизировать выигрыш в долгосрочный период, то она решает давить живых и собирать трупы, а решение ей приходит после пары случайных происшествий, пару кошек/собак/крыс задавила.

1) Разработчики раздолбаи - не вставили в машину, способную давить собак, соответствующего ограничителя.
2) Собаки/кошки/крысы раздолбайские - по идее, машина-то не должна быть сильно резвой.
3) И в любом случае, "решить давить живых" машина не может - нет алгоритмов для охоты за движущимися целями (трупы обычно малоподвижны). Если попробует поставить себе цель "проехать через того кота", программу начнёт капитально клинить.

[Пепел Феникса]

Сообщение от Abstraction

1) Разработчики раздолбаи - не вставили в машину, способную давить собак, соответствующего ограничителя.
2) Собаки/кошки/крысы раздолбайские - по идее, машина-то не должна быть сильно резвой.
3) И в любом случае, "решить давить живых" машина не может - нет алгоритмов для охоты за движущимися целями (трупы обычно малоподвижны). Если попробует поставить себе цель "проехать через того кота", программу начнёт капитально клинить.

4)полноценный ИИ ей не к чему.

[Sciv]

Подводя итоги: в настоящее время человечество находится на той стадии, когда происходит только изучение возможных направлений развития в области самообучающихся систем и ИИ. На этом этапе думать о защите в техническом аспекте - по меньшей мере глупо, это пока еще проблема чисто этико-философская.

А вот реально существующая проблема сейчас - это криворукие или просто забывчивые программисты и инженеры, разномастные хакеры и прочая живность, которая может нанести вред гораздо больший чем свихнувшаяся система. Вот против этого надо работать, а не придумывать пока еще несуществующие угрозы пока еще неясно от чего.

[Kostia]

4)полноценный ИИ ей не к чему.

Да, я перенес идею существующей мусорки, которая ищет мусор(жестяные банки) по офису, на трупы.

Разработчики раздолбаи - не вставили в машину, способную давить собак, соответствующего ограничителя.

Вот именно, редко сразу удается учесть все и от ошибок никто не застрахован.

Собаки/кошки/крысы раздолбайские - по идее, машина-то не должна быть сильно резвой.

Машина громоздкая на почти безумная, задавила спящего бомжа.

И в любом случае, "решить давить живых" машина не может - нет алгоритмов для охоты за движущимися целями (трупы обычно малоподвижны). Если попробует поставить себе цель "проехать через того кота", программу начнёт капитально клинить.

Это для нас выглядит что машина сошла с ума и давит людей, а на самом деле все просто. У нее есть датчики и память по которым она решает куда двигаться чтобы собрать больше трупов вот и все.

Подводя итоги: в настоящее время человечество находится на той стадии, когда происходит только изучение возможных направлений развития в области самообучающихся систем и ИИ. На этом этапе думать о защите в техническом аспекте - по меньшей мере глупо, это пока еще проблема чисто этико-философская.

Иногда стоит уточнять, ведь слабый ИИ уже давно используется в самых разных отраслях, а вот до сильного почти никому нет дела.

А вот реально существующая проблема сейчас - это криворукие или просто забывчивые программисты и инженеры, разномастные хакеры и прочая живность, которая может нанести вред гораздо больший чем свихнувшаяся система. Вот против этого надо работать, а не придумывать пока еще несуществующие угрозы пока еще неясно от чего.

Не было бы атомных электростанций и не произошла бы авария в Чернобыле. А вот если бы не было человеческого фактора, то не факт что АЭС не взорвалась бы по другим причинам. Но думаю никто спорить не будет на счет того, что связка "Техника-Человек" вызывает несоизмеримо больше аварий, чем если бы техника была полностью автоматизирована, но и как технику так и программы к ней делают люди, поэтому человеческий фактор присутствует всегда в большей или меньшей степени.

Согласен, но как я уже писал, классических трех законов здесь явно не достаточно. Вернее они слишком общие и фантастичные.

А вы не предполагаете идею что ИИ так и не появится как самостоятельная сущность, а будет происходить кибернетизации человека, вплоть до замены мозга, а затем и вовсе переход в виртуальное общество, слияние сознаний и тд.

[Smitt&Wesson]

Пока в России будет так:

«1731 год. В Рязани при воеводе подьячий нерехтец Крякутной фурвин сделал, как мяч большой, надул дымом поганым и вонючим, от него сделал петлю, сел в неё, и нечистая сила подняла его выше березы, а после ударила о колокольню, но он уцепился за веревку, чем звонят, и остался тако жив. Его выгнали из города, и он ушёл в Москву, и хотели закопать живого в землю или сжечь»

ИИ нам не нужно бояться.
И вообще Рентген изобрел Иван Грозный - ибо в письме к боярам писал, что их насквозь видит...

[Abstraction]

Это для нас выглядит что машина сошла с ума и давит людей, а на самом деле все просто. У нее есть датчики и память по которым она решает куда двигаться чтобы собрать больше трупов вот и все.

Только вот трупы не двигаются, в отличие от. Соответственно, алгоритмы прокладки маршрута "через подвижный и активно делающий ноги объект" кардинально отличаются от алгоритмов расчёта маршрута к неподвижному трупу. Если разработчики таковой алгоритм встроили - это уже намеренная диверсия.

Вот именно, редко сразу удается учесть все и от ошибок никто не застрахован.

Как аналогия: на пожароопасном производстве не предусмотрели огнетушителей. Случился пожар. Отговорка "от ошибок никто не застрахован" тут не катит, это преступный кретинизм. Если машина может относительно легко нанести ущерб, обязанность разработчика позаботиться о том, чтобы этого случайно не произошло.

[Kostia]

Только вот трупы не двигаются, в отличие от. Соответственно, алгоритмы прокладки маршрута "через подвижный и активно делающий ноги объект" кардинально отличаются от алгоритмов расчёта маршрута к неподвижному трупу. Если разработчики таковой алгоритм встроили - это уже намеренная диверсия.

Есть всего 1 алгоритм, поиск направления движения и все, нет маршрутов и пр. есть только направление, которое может меняться в зависимости от показателей датчиков и все. Да и даже если строится путь от точки до точки, никто не мешает пересчитываться его для двигающейся цели. В общем рекомендую ознакомиться с самообучающимися система, алгоритмами обучения без учителя и обучением с подкреплением(тут и про мусорку и механическую руки перекладывающую груз и много еще интересного).

Отговорка "от ошибок никто не застрахован" тут не катит, это преступный кретинизм.

Отговорка ли это или причина? Может это было сделано специально или от нехватки знаний?

Если машина может относительно легко нанести ущерб, обязанность разработчика позаботиться о том, чтобы этого случайно не произошло.

Из-за одного случая в США военные больше не используют BASIC.
Да и просто посмотрим по сторонам, по сто раз запускаю ракету в надежде что она долетит до намеченной цели, спутники падаю на жилые дома, вах, все нет слов, пойду кодить.

[Smitt&Wesson]

Как пример. Где-то в конце 70-х был такой курьёзный случай с Боингом. Тогда, только начинали использоваться микропроцессоры в автопилотах. Пока Боинг летал в пределах северного полушария, всё было нормально. Но компания решила открыть новую линию, пересекающую экватор. При пересечении экватора, Боинг переверноулся на 180 градусов. Из этой ситуации удалось выйти только отключив авттомилот. Остаток пути, лётчики управляли самолётом в режиме ручного управления. В последствии выяснилось, что программисты не учли разницу широт южного полушария.

[IvanFuture]

А вы не предполагаете идею что ИИ так и не появится как самостоятельная сущность, а будет происходить кибернетизации человека, вплоть до замены мозга, а затем и вовсе переход в виртуальное общество, слияние сознаний и тд.

Возможен и таков вариант событий, в конечном итоге только так можно получить полноценный ИИ (эти мысли я отражу в своей новой публикации). Однако, думаю будет этап, об условиях которого я и писал в этой теме, то есть глобальная автоматизация.

Подводя итоги: в настоящее время человечество находится на той стадии, когда происходит только изучение возможных направлений развития в области самообучающихся систем и ИИ. На этом этапе думать о защите в техническом аспекте - по меньшей мере глупо, это пока еще проблема чисто этико-философская.

Немного не соглашусь с таким мнением, в плане того, что мы не так уж далеко стоит от шага к полной информатизации и автоматизации. Согласен до ИИ человеку еще далеко, но проблемы начнут возникать и до момента его появления. Думать лучше заранее. Да конечно, это проблема больше философского и этического характера (я бы сказал это проблема трансгуманизма), но в вопросе создания ИИ, мне кажется, более важную роль играют именно эти направления человеческой мысли, а не математика как таковая.

Как пример. Где-то в конце 70-х был такой курьёзный случай с Боингом. Тогда, только начинали использоваться микропроцессоры в автопилотах. Пока Боинг летал в пределах северного полушария, всё было нормально. Но компания решила открыть новую линию, пересекающую экватор. При пересечении экватора, Боинг переверноулся на 180 градусов. Из этой ситуации удалось выйти только отключив авттомилот. Остаток пути, лётчики управляли самолётом в режиме ручного управления. В последствии выяснилось, что программисты не учли разницу широт южного полушария.

Человеческий фактор. Всегда был бичом в области автоматизации. Однако, в те времена, не был еще систем с самообучением… Проблема была чисто в кривых руках, а вот при наличие механизма самопознания и анализа окружающих факторов, система саамам может вызвать алгоритмические ошибки.

И разработчик не всегда может предусмотреть такое поведение машины. В нечеткой логики, есть момент очень трудные для прогнозирования.