Перейти к содержанию

Qwen

Добавить ссылки
Материал из Мегавики — свободной энциклопедии
Данная страница не проверялась участниками с соответствующими правами.
Qwen 2.5
Логотип программы Qwen 2.5
Тип Генеративный искусственный интеллект, Большая языковая модель
Разработчик Alibaba Cloud
Операционная система Кроссплатформенный
Языки интерфейса Многоязычный (29+ языков)
Первый выпуск 2024
Последняя версия 2.5
Лицензия Open-source (Apache 2.0)
Сайт qwen-ai.com

Qwen (также называемая Tongyi Qianwen, кит. упр. 通义千问) — семейство больших языковых моделей, разработанных Alibaba Cloud. В июле 2024 года она была признана лучшей китайской языковой моделью по некоторым бенчмаркам и третьей в мире после ведущих моделей Anthropic и OpenAI[1].

Модели[править]

Alibaba впервые запустила бета-версию Qwen в апреле 2023 года под названием Tongyi Qianwen[2]. Модель была основана на БЯМ Llama, разработанной Meta AI, с различными модификациями[3]. Публично выпущена в сентябре 2023 года после получения одобрения от правительства Китая[4]. В декабре 2023 года компания выпустила свои модели 72B и 1.8B с открытым исходным кодом, а Qwen 7B был выпущен в открытый доступ в августе[5][6].

В июне 2024 года Alibaba запустила Qwen 2, а в сентябре выпустила некоторые из своих моделей с открытым исходным кодом, сохранив при этом свои самые передовые модели проприетарными[7][8]. В Qwen 2 используется смесь экспертов[9].

В ноябре 2024 года QwQ-32B-Preview, модель, ориентированная на рассуждения, аналогичная o1 от OpenAI, была выпущена под лицензией Apache 2.0, хотя были выпущены только веса, а не набор данных или метод обучения[10][11]. QwQ имеет длину контекста 32 000 токенов и показывает лучшие результаты, чем o1, по некоторым бенчмаркам[12].

Серия Qwen-Vl представляет собой линейку визуальных языковых моделей, сочетающих в себе визуальный трансформер с БЯМ[3][13]. Alibaba выпустила Qwen-VL2 с вариантами в 2 миллиарда и 7 миллиардов параметров[14][15]. Qwen-vl-max является флагманской моделью Alibaba для обработки визуальных данных по состоянию на 2024 год и продается Alibaba Cloud по цене 0,00041 доллара США за тысячу входных токенов[16].

Alibaba выпустила несколько других типов моделей, таких как Qwen-Audio и Qwen2-Math[17]. В общей сложности компания выпустила более 100 моделей с открытым исходным кодом, причем её модели были загружены более 40 миллионов раз[8][18]. Энтузиасты разработали тонко настроенные версии Qwen, такие как «Liberated Qwen», разработанная компанией Abacus AI из Сан-Франциско, которая представляет собой версию, отвечающую на любой запрос пользователя без ограничений по содержанию[19].

В январе 2025 года Alibaba запустила Qwen 2.5-Max, свою последнюю и самую мощную модель на сегодняшний день[20]. Согласно сообщению в блоге Alibaba, Qwen 2.5-Max превосходит другие базовые модели, такие как −4o, DeepSeek-V3 и Llama-3.1-405B, по ключевым бенчмаркам[21].

Примечания[править]

  1. ↑ Jiang, Ben. Alibaba's open-source AI model tops Chinese rivals, ranks 3rd globally (англ.). South China Morning Post (11 июля 2024).
  2. ↑ Chiang, Sheila. Alibaba to roll out its rival to ChatGPT across all its products (англ.). CNBC (11 апреля 2023).
  3. ↑ 3,0 3,1 Bai, Jinze; Bai, Shuai; Chu, Yunfei; Cui, Zeyu; Dang, Kai; Deng, Xiaodong; Fan, Yang; Ge, Wenbin; et al. (28 Sep 2023), Qwen Technical Report, arΧiv:2309.16609 [cs.CL]. 
  4. ↑ Jiang, Ben. Alibaba opens Tongyi Qianwen model to public as new CEO embraces AI (англ.). South China Morning Post (13 сентября 2023).
  5. ↑ Fan, Feifei. Alibaba unveils new Tongyi Qianwen AI language model. global.chinadaily.com.cn (1 декабря 2023).
  6. ↑ Ye, Josh. Alibaba rolls out open-sourced AI model to take on Meta's Llama 2. reuters (3 августа 2023).
  7. ↑ Jiang, Ben. Alibaba says new AI model Qwen2 bests Meta's Llama 3 in tasks like maths and coding (англ.). South China Morning Post (7 июня 2024).
  8. ↑ 8,0 8,1 Kharpal, Arjun. China's Alibaba launches over 100 new open-source AI models, releases text-to-video generation tool (англ.). CNBC (19 сентября 2024).
  9. ↑ Yang, An; Yang, Baosong; Hui, Binyuan; Zheng, Bo; Yu, Bowen; Zhou, Chang; Li, Chengpeng; Li, Chengyuan; et al. (10 Sep 2024), Qwen2 Technical Report, arΧiv:2407.10671 [cs.CL]. 
  10. ↑ Dickson, Ben. Alibaba releases Qwen with Questions, an open reasoning model that beats o1-preview. VentureBeat (29 ноября 2024).
  11. ↑ 故渊. 阿里通义千问 QwQ 登场：开源 AI 推理新王，MATH 测试超 OpenAI o1 模型 - IT之家. www.ithome.com (28 ноября 2024).
  12. ↑ Wiggers, Kyle. Alibaba releases an 'open' challenger to OpenAI's o1 reasoning model. TechCrunch (27 ноября 2024).
  13. ↑ Browne, Ryan. Alibaba slashes prices on large language models by up to 85% as China AI rivalry heats up (англ.). CNBC (31 декабря 2024).
  14. ↑ 沛霖. 阿里通义千问推出 Qwen2-VL：开源 2B / 7B 参数 AI 大模型，处理任意分辨率图像无需分割成块. ithome.com (30 августа 2024).
  15. ↑ (September 18, 2024) «Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution». Cs.CV. arXiv:2409.12191.
  16. ↑ Jiang, Ben. Alibaba Cloud cuts AI visual model price by 85% on last day of the year (англ.). South China Morning Post (31 декабря 2024).
  17. ↑ Franzen, Carl. Alibaba claims no. 1 spot in AI math models with Qwen2-Math. VentureBeat (8 августа 2024).
  18. ↑ Alibaba accelerates AI push by releasing new open-source models, text-to-video. Reuters (19 сентября 2024).
  19. ↑ Mims, Christopher. Here Come the Anti-Woke AIs. WSJ (19 апреля 2024).
  20. ↑ Brunner, Nathan. Qwen 2.5-Max - Latest Statistics and Facts (англ.). boterview (29 января 2025). Архивировано 30 января 2025 года.
  21. ↑ Qwen2.5-Max: Exploring the Intelligence of Large-scale MoE Model (англ.). Github (29 января 2025).

Ссылки[править]

Источник — https://megawiki.ru/wiki/Qwen