Татарин>> С чего ты взял, что мне нравится то, что есть уже сейчас?
Я предлагаю "бояться" того, которое есть сейчас и трижды - которое будет.
Полл> Ты предлагаешь бояться своей репутации.
Не то чтобы точно репутации и не то чтоб прям
своей. 
Есть две вещи. Как бы это так выразить...
"Кандалы больших чисел".
Вот у людей тоже подводится статитика и на основе её делаются выводы. И индивидуально, и в коллективном бессознательном.
Например, что такое
современный нам расизм? Это предубеждение против негров. Всех негров. Часто (далеко не всегда, но таки часто) основанное на вполне
адекватной статистике и накопленному объективному и субъективному опыту. В Штатах среди негров больше преступников. Ага, "раз чёрный - значит, потенциальный вор". Среди негров меньше экономически успешных людей. Ага. "Раз чёрный - так ленивая скотина".
Мы называем это расизмом и боремся с такими предрассудками не просто так (слово-то какое прекрасное, а? пред-рассудок - "до-того-как-начал-думать").
Потому что мы такими предрассудками жестоко ограничиваем хороших людей, которым почему-то не повезло иметь чёрную кожу. Очень много теряют люди. Таки прилично теряет общество в целом, ограничивая самореализацию людей и толкая их в жопу.
Это происходит именно потому, что предрассудки и предубеждения имеют какую-то базу,
рациональны. (КМК, в России расизм куда более безобиден именно потому что бессмысленная калька, усвоенная с американских фильмов - если кто-то там и ненавидит негров, то ненавидит иррационально, без опоры на личный и общественный опыт; такие люди, дающие волю своей тупости, редки, а на критичных должностях - ещё реже).
Теперь, что такое нейросеть?
Нейросеть - это машина выработки предрассудков.
Понимаешь?
Посмотри на вопрос с этой стороны. В этом её смысл. Мы берём безгрешную невинную сеть и пичкаем её примерами, чтобы она на примерах выцепила бы какие-то общие закономерности и взаимосвязи. И она их находит. Между законопослушностью и цветом кожи, например.
А затем мы даём нейросети примеры и просим определить вероятности. И получаем легко предсказуемый результат, как та нейросеть, которая всех негров в подозрительные личности записывала. ПОлучаешь нормальный такой машинный расизм. И это ещё очень неплохой случай, я начал с него потому что этому есть "людские" аналоги.
Ты скажешь "ок, что такого"? Ну так та же нейросеть, например, записывала в подозрительные личности всех, кто в момент фото не улыбался (и легко понять почему, потому что тюремному фотографу гораздо реже улыбаются). А там ещё штук 10 жестоких предубеждений, весьма для тебя неожиданных и, возможно, неприятных.
Предрассудки всех видов - это не недостаток, это конечный продукт глубокого машинного обучения, его
цель. Просто пока мы преобразуем звук голоса в слова и ищём котиков на картинках, то же самое явление называется другим словом. А вот когда дело доходит до оценки людей, та же самая функциональность могла бы вполне называться шовинизмом, если бы машина имела свою личность. Почему это плохо?
Потому что ты подпадаешь по каток больших чисел, и если ты уж очутился в плохой группе по любым причинам, то имеешь неиллюзорную возможность так же огрести, как и те, кто плохую репутацию группе зарабатывал.
(Вторым шагом будет необходимость общей мимикрии под критерии "хороших" групп с модификацией критерий нейросети с учётом этого, и... в общем, общественную динамику таких групп нефигово расписали подростковые психологи, работавшие в американских школах. Пишут, что там важно, чтобы у тебя, например, футболки были правильные и каждый день разные, иначе есть шанс скатиться в изгои (что влечёт тяжёлые тяжёлыми последствия, вплоть до самоубийств и расстрелов одноклассников). Но это уже глубоко, наверное.)
...
Второй компонент проблемы, как уже писал выше, - грядущая малая стоимость принятия микрорешения с опорой на твою историю и большие числа.
Проблема тут вот в чём: сейчас когда на кону что-то серьёзное идёт более-менее серьёзное разбирательство (как в суде, например). Это даёт шанс откопать много фактов, осмотреть ситуацию со всех точек зрения, обсудить последствия, невелировать субъективность отдельных людей и т.д. Это имеет и обратный эффект - ради мелочи по судам не ходят, только ради более-менее важного.
Если же сейчас речь идёт о мелочи, то более-менее разумное решение на потоке невозможно, поэтому оно и не принимается, берётся среднее по обществу, по умолчанию. Например, в ресторане тебя сначала обслужат, а потом подадут счёт. На автоматической заправке сначала заправляешься, потом суёшь карточку. И т.п. и т.д.
Широкий сбор, анализ бигдаты и распространение нейросетей делает микрорешение по микроповодам очень дешёвым. И оно будет достаточно хорошим, чтобы применять технологию имело бы смысл. И из-за того, что это микрорешение, которое не приносит очевидных заметных трат никому, дело никогда не дойдёт до обсуждения по существу, разбора фактов и оправданий. Оно того не стОит. Зато микрорешений будет МНОГО (они же дёшевы).
И если твоя жена забыла внести плату за отопление, тебя не пустят в какой-то ресторан, попросят карточку до того, как заправишься, не выдадут кредитку... или откажут в собеседовании, например, даже не узнав о твоём существовании - просто сделают выборку по "более-менее аккуратным товарищам". Из-за твоей мрачной (допустим, я тебя не видел

) рожи, тебе будут дороже билеты на самолёт, а из-за покупки тобой кошачьей еды для знакомых, тебе не сдадут в аренду хорошие квартиры (и опять же, ты даже не узнаешь об этом).
Понимаешь? Это как повсеместное унижение негров в южных штатах США после победы северян. Законы - одно, а вот повседневная жизнь - совсем иное.
И мы имеем прекрасные шансы притащить этот вездесущий и всемогущий "машинный расизм" в тысячах лиц в свою жизнь. И более того, сейчас многое для этого делаем.
...
А теперь добавь сверху вишенкой ко всему этому, что нейросети - лишь инструмент людей, а целю у людей могут быть разные. Прецендентов жестокой дискриминации под флагом торжества толерантности было много. Для меня, например, переходом толстой красной черты было принятие Линукс СоС: наработанные тобой за годы бесплатного труда нематериальные активы могут в любую секунду похерить люди, ничего не сделавшие, но поставившие с целью травить "нетолерантных" людей.
Представь себе (это очень легко представить, ибо часто так и есть), что у
этих людей в руках глобальные системы сбора и анализа данных и системы вычисления репутаций/принятия решений. Я бы добавил, что по каким-то важным (для них) частным вопросам эти люди могут вмешиваться напрямую и править ручками - см., допустим, системы финансовых рейтингов... но это слишком привычная и скучная пугалка. Это даже не нужно, в конце-то концов, для того и автоматика, чтобы люди не работали руками.
Всё ещё непонятно?
В дивном новом мире счастья будет много; гораздо больше, чем тебе нужно, КМК.