Исследователи ИИ разработали новый способ оптимизации параметров. Это должно повысить эффективность многоязычных моделей
13.12.23
Университет Джонса Гопкинса представил инновационный подход к оптимизации многоязычных языковых моделей (MLM), позволяющий значительно снизить их объем без потери производительности. MLM обеспечивают способность генерировать и анализировать тексты на разных языках, но с увеличением количества языков они теряют эффективность из-за «языковой интерференции».
В отличие от традиционных методов, когда для каждого языка создается отдельная нейросеть, ученые используют матрицы с низким рангом. Данный подход позволяет сжать данные и уменьшить количество параметров, необходимых для добавления новых языков в модель.
Как объясняет один из авторов, Хаоран Сюй (Haoran Xu), это аналогично ограниченной цветовой палитре для художника. Вместо того чтобы каждому ученику в классе выделять собственный набор красок, используется общая палитра из трех цветов. Это значительно уменьшает потребность в параметрах масштабирования модели.
Исследователи протестировали свой метод на 95 языках, показав отличные результаты при использовании значительно меньшего количества параметров. Это открывает перспективы для создания компактных и эффективных MLM, отмечают ученые.
По их словам, со временем появятся мобильные приложения с искусственным интеллектом, способные работать на сотнях языков одинаково эффективно. Окончательная цель заключается в применении нового метода сжатия больших MLM без потери их производительности.
Не пропустите интересное!
Підписывайтесь на наши каналы и читайте анонсы хай-тек новостей, тестов и обзоров в удобном формате!

Ugreen Uno RG Gan – зарядка 100 Вт с улыбкой



Мне нравится, как оно заряжается, быстро, не сильно греется, еще и улыбается. Вероятно, такая ситуация была в голове у сотрудников компании Ugreen когда они разрабатывали новую модель Ган-зарядки.

Оплатить штраф ТЦК в «Резерв+» можно будет уже в июне с 50 % скидкой война приложения события в Украине
В приложении «Резерв+» уже сейчас отображаются уведомления о нарушениях, например: «похоже, у вас проблемы с воинским учетом».
Android 16 появился на смартфонах Pixel Андроид обновление события в мире
Google начала распространять стабильную версию Android 16, которая пока доступна только для смартфонов Pixel.