Tатарин>>)...
кщееш> Во во.
кщееш> Они говорят мы сами не знаем что происходит там внутри .
кщееш> Вот я и обалдел.
С чего?
Нейросеть - такая штука, что, конечно, ты можешь заглянуть внутрь и просмотреть массивы весов... Просто это никакого понимания не даёт. Потому что нет привычной и понятной последовательности действий, причин и следствий. Просто огромный набор чисел, которые перемножаются и засовываются в некие (достаточно простые) функции. И так много-много раз.
Нет никакой конкретной точки, про которую можно было б сказать "вот тут принято решение". В лучшем случае ты можешь увидеть, какие нейроны активируются. Ну и, конечно, в случае конкретного действия ты можешь знать, какие нейроны и как должны быть активированы - это ж ты сам и придумывал.
Но вот сама сеть... Просто мегабайтные простыни весовых коэффициентов.
Кстати, медики на это уже напоролись: есть сети, которые офигительно хорошо ищут признаки рака на сканах и в анализах. Есть сети, которые лучше врачей ставят диагнозы по анализам, не видя пациента (пока ещё не видя, тут у врачей пока фора).
Но раз они (хоть и работают лучше врачей) пока ещё ошибаются, а ты
не можешь сказать, почему сеть пришла к тому или иному решению...

применять это в реальной практике оказалось почти невозможным. Ошибка в диагнозе рака в любую сторону - очень тяжелые последствия. Кто будет брать ответственность?

Всё как в старой фантастике 50-х...
Сейчас средства отладки развиваются, но, боюсь, они опаздывают лет на пять, а скоро опоздают навсегда. Сложность сетей наращивать можно бесконечно, вопрос железа. А вот способности человека понимать и отлаживать - ограничены возможностями фиксированного мозга.
Шах и мат, хлюпкая биомасса.