2023 02 21 про llms
Про LLMs и AGI
✍️ Напоминаю, что буду рад обратной связи и вашим вопросам по ссылке: https://forms.gle/7RsYTrkBBWcAbVhC9
Последние две темы были косвенно связаны с машинным обучением. В прошлом году у меня были скромные попытки понять, а что вообще происходит? Они увенчались очень ограниченным успехом, потому что не хватило базы (и скорее всего желания). Если хотите следить за новинками, то порекомендую канал https://t.me/gonzo_ML.
Для начала напомню из прошлого поста, что большинство LLMок построены с помощью большого отобранного массива данных и инструментов статистики. В основе лежит трансформер - a.k.a нейронная сеть с контекстом и вниманием, где контекст и внимание хоть и имеют похожий на жизнь смысл, но выражаются во вполне конкретных математических формулах. Если хотите закопаться, начните с научной работы “attention is all you need” (ELI5: https://news.ycombinator.com/item?id=35980418). Нам здесь важно, что к тому же AGI (generative) мы пришли с помощью экстенсивного роста контекста, слоёв и параметров.
А здесь начинается уже диванная аналитика касаемо того, как к этому можно относиться. Можно выделить три лагеря: луддиты, промышленники и технооптимисты. С последними проще всего - полагаем, что ждёт сингулярность/сильный ИИ/всё хорошо. Ничего запрещать не надо, давайте двигаться ещё быстрее.
Луддиты наоборот либо видят угрозу человечеству (видел конспирологию, что AGI пришлёт в лабораторию email с вирусом для тестирования), либо угрозу отупения (летим в порочный круг, где современная технология станет магией), либо слишком большой рычаг власти (нужны регуляции). И каждая из них имеет право на жизнь, так как с кодовой базой уже есть исследования: менее безопасный - https://arxiv.org/abs/2211.03622, более грязный - https://www.gitclear.com/coding_on_copilot_data_shows_ais_downward_pressure_on_code_quality. Google сказал, что они модельку только на внутреннем коде, чтобы качество было сравнимым - https://www.businessinsider.com/google-goose-ai-model-language-ai-coding-2024-2. Стоило ли опасаться покажет только время.
Промышленники - это эксперты, которые могут использовать LLM в качестве нового станка. Ты можешь сделать изделие вручную, но если у тебя появляется возможность сделать 10 раз за тоже время и оставить самый лучший вариант - это почти бесплатное кратное повышение эффективности. Ключевым в данном случае становиться наличие экспертизы, так как сам подход с prompt engineering’ом будет улучшаться на стороне модельки. И это приводит нас к основному прогнозу - что люди без моделек в релевантных профессиях станут нишевыми, как ручное производство товаров.
#черновик