Scaling Laws
Определение
Scaling Laws — эмпирические закономерности, связывающие производительность модели с её размером, объёмом данных и compute.
Простое объяснение
Scaling Laws — как формула успеха для AI: больше параметров + больше данных + больше вычислений = лучше модель. Работает удивительно надёжно.
Подробнее
Связанные термины
Глубокое обучение
Подмножество машинного обучения, использующее многослойные нейронные сети для анализа данных.
Модель
Модель в ML — обученный алгоритм, который принимает входные данные и выдаёт предсказания или генерирует результат.
RLHF
Reinforcement Learning from Human Feedback — метод обучения AI-моделей на основе человеческих предпочтений, используемый для выравнивания поведения модели с человеческими ценностями.
Quantization
Квантизация — техника сжатия AI-моделей путём уменьшения точности чисел (например, с 32-bit до 4-bit), ускоряющая инференс и снижающая требования к памяти.