Издательство «МИФ» выпускает книгу Стивена Вольфрама «Как устроен ChatGPT». Книга о возможностях ChatGPT от создателей нейросети обещает «полное погружение в принципы работы и спектр возможностей самой известной нейросети в мире».
С любезного разрешения издательства публикуем главу «Перспективы».
За прошедшее десятилетие машинное обучение добилось невероятных успехов, к числу которых относится и ChatGPT. Распознавание изображений, перевод устной речи в текст, перевод с одного языка на другой — в каждой из этих областей успех был достигнут совершенно внезапно, так что задачи превратились из практически невыполнимых во вполне выполнимые.
Однако результаты никогда не бывают безупречными. Что-то отлично работает только в 95% случаев, и, как бы мы ни старались, все равно остаются 5% неудач. Иногда это означает полный провал. Однако существуют задачи, для которых 95% успеха — это достаточно хорошо. Возможно, причина в том, что не существует «правильного» ответа. Или в том, что кто-то пытается выявить возможности, часть из которых человек — или алгоритм — затем использует и адаптирует.
Что за бред я сейчас прочитал? Статья была сгенерирована чатжпт и переведена Гугл транслятором?
Примечательно, что нейронная сеть с несколькими сотнями миллиардов параметров, генерирующая текст по токенам, способна делать то же самое, что и ChatGPT. Учитывая этот невероятный — и неожиданный — успех, можно подумать, что если просто обучить сеть достаточному количеству вещей, то она сможет делать что угодно. Однако это так не работает. Фундаментальные знания о машинных вычислениях — и особенно концепция вычислительной несводимости — ясно дают понять, что это невозможно. Самое важное мы уже видели, наблюдая за развитием машинного обучения. Прорыв, подобный ChatGPT, случится еще раз. И он будет еще мощнее. В будущем такие механизмы не будут останавливаться перед тем, что раньше считалось невозможным.
Этот отрывок выглядит как натянутая реклама Wolfram Alpha. Во-первых у Wolfram Alpha нет такого объема обучающих данных, как было у OpenAI для тренировки ChatGPT. Во-вторых Wolfram Language это все-таки достаточно формализованный язык: ChatGPT извлекает "знание" из контекста, взаимной последовательности слов и т.д., WLanguage больше следует формальной логике, и, судя по синтаксису достаточно беден.
А вот слияние ChatGPT и Wolfram Language, когда ChatGPT будет "рассуждать" на WL выглядит заманчивой идеей, но опять же - люди надрессировали Large Language Models (LLM) генерировать программный код (Python, C++, etc) по запросу, а это более богатая структура, чем просто WL
благодарю за пояснение! не знал, что такое WL.