M
Multimodal
Также известен как: Мультимодальный, Мультимодальность
Генеративный AIОпределение
Multimodal — способность AI-системы обрабатывать и генерировать данные разных типов: текст, изображения, аудио, видео.
Простое объяснение
Multimodal — как AI с несколькими органами чувств. Может видеть, слышать, читать — и понимать связи между всем этим.
Подробнее
Мультимодальные модели объединяют разные "модальности" в единое пространство представлений. GPT-4V, Claude 3, Gemini понимают изображения и текст. Sora генерирует видео. CLIP связывает изображения и текст. Мультимодальность приближает AI к человеческому восприятию: мы тоже обрабатываем мир через разные органы чувств одновременно. Challenges: alignment между модальностями, efficient training, grounding (связь текста с конкретными объектами на изображении).
Связанные термины
Text-to-Speech
Text-to-Speech (TTS) — технология преобразования текста в естественно звучащую речь с помощью нейронных сетей.
Generative AI
Генеративный AI — системы искусственного интеллекта, способные создавать новый контент: тексты, изображения, музыку, видео, код.
DALL-E
DALL-E — модель генерации изображений от OpenAI, названная в честь художника Дали и робота WALL-E.
LLM
Большая языковая модель (LLM) — нейронная сеть с миллиардами параметров, обученная на огромных текстовых корпусах для понимания и генерации естественного языка.