01
· КАК УСТРОЕНА МОДЕЛЬ
Три этапа обучения языковой модели
01 — ДАННЫЕ
Текст из интернета
Книги, статьи, код, диалоги — триллионы слов
→
02 — ОБУЧЕНИЕ
Предсказание токена
Модель угадывает следующее слово и корректирует веса
→
Напиши стих про осень
Листья падают тихо
03 — ПРИМЕНЕНИЕ
Диалог с человеком
Дообучение на примерах «запрос → хороший ответ»
02
· ЧТО ТАКОЕ ТОКЕН
Модель
видит
не слова,
а токены
В
лесу
родилась
ёлочка
ёлочка
высокая уверенность — следующий токен
ёлочка
03
· МЕНЬШЕ КОНТЕКСТА
Самое популярное имя для девочки…
04
· СТРУКТУРА ПРОМПТА
Пять компонентов хорошего запроса
Роль
Ты — опытный редактор
Контекст
Статья про Лев Толстого для школьников
Задача
Сократи текст до 200 слов
Стиль
Дружелюбно, без канцелярита
Формат
Маркированный список из 5 пунктов
Сделано на
Sparkk