LMArena
| LMArena | |
|---|---|
англ. Arena (28 січня 2026)[1]  | |
 | |
| Посилання | lmarena |
| Комерційний | ні |
| Тип | Artificial intelligence |
| Реєстрація | немає |
| Мови | англійська |
| Започатковано | 3 травня 2023 |
| Ліцензія контенту | Apache Software License 2.0d[2] |
LMArena (раніше Chatbot Arena) — це публічна вебплатформа, яка оцінює великі мовні моделі (LLM) через анонімні парні порівняння, створені за участю користувачів. Користувачі вводять запити, на які відповідають дві анонімні моделі, після чого голосують за ту, що надала кращу відповідь. Після голосування розкриваються назви моделей. Також користувачі можуть самостійно обирати моделі для тестування.[3][4]
LMArena популярна в індустрії штучного інтелекту, адже провідні компанії надають свої великі мовні моделі, такі як GPT-4o, o1, Gemini,[5] і Claude,[6] та використовують отримані рейтинги для їх просування. Зокрема, китайська компанія DeepSeek тестувала свої прототипи моделей на LMArena за місяці до того, як їхня модель R1 привернула увагу західних ЗМІ.[7] Сайт навіть використовувався для попереднього показу майбутніх моделей. Однак методологія оцінки великих мовних моделей на LMArena була предметом академічного аналізу, який виявив певні обмеження та запропонував напрями вдосконалення. Платформа згодом оновила методологію відповідно до поточних досліджень через оновлення політики.[8][9]
- ↑ https://arena.ai/blog/lmarena-is-now-arena
- ↑ https://github.com/lm-sys/FastChat/blob/main/LICENSE
- ↑ Гарт, Роберт (18 липня 2024). Який ШІ найкращий? Chatbot Arena спирається на мільйони голосів користувачів. Forbes. Процитовано 21 квітня 2025.
- ↑ Круппа, Майлз (5 грудня 2024). Проєкт Каліфорнійського університету в Берклі, що став одержимістю індустрії ШІ. The Wall Street Journal. Процитовано 21 квітня 2025.
- ↑ Нуньєс, Майкл (15 листопада 2024). Google Gemini несподівано посідає перше місце, обійшовши OpenAI, але бенчмарки не розкривають усієї картини. VentureBeat. Процитовано 21 квітня 2025.
- ↑ Едвардс, Бендж (27 березня 2024). «Король мертвий» — Claude 3 вперше перевершує GPT-4 на Chatbot Arena. Ars Technica. Процитовано 21 квітня 2025.
- ↑ Метц, Рейчел (18 лютого 2025). Перш ніж DeepSeek здобула популярність, Chatbot Arena анонсувала її появу. Bloomberg News. Процитовано 21 квітня 2025.
- ↑ Стокел-Вокер, Кріс (6 лютого 2025). Сотні сфальсифікованих голосів можуть спотворити рейтинги моделей ШІ на Chatbot Arena, — дослідження. Fast Company. Процитовано 21 квітня 2025.
- ↑ Віггерс, Кайл (5 вересня 2024). Індустрія ШІ одержима Chatbot Arena, але це може бути не найкращий бенчмарк. TechCrunch. Процитовано 21 квітня 2025.