Системная инженерия – 2022. Анатолий Левенчук

      28

      Очень интересные исследования про порог эмерджентности при масштабировании в обучающихся/эволюционирующих системах, и помним, что нейросети, термодинамика, эволюция имеют общую теорию/математику (в курсе «Практическое системное мышление» про это рассказывается и даются ссылки на работы Ванчурина-Кацнельсона-Вольфа-Кунина): Emergent Abilities of Large Language Models, резкие пороги в работоспособности нейросетей в зависимости от числа вычислений, размеров и прочего масштабирования, https://arxiv.org/abs/2206.07682 гифка дерева возможных приложений у сети с масштабируемостью (пороги возможностей с ростом числа параметров сетки): https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html резкое появление самых разных свойств у случайных графов (порог эмерджентности при росте связности графа): https://www.quantamagazine.org/elegant-six-page-proof-reveals-the-emergence-of-random-structure-20220425/