Заголовок на английскомFrom Small to Large: Assessing Medical Reasoning, Benchmark Contamination, and Model Size in Language Models
arXiv:2611.00460v1 Announce Type: new Abstract: Large language models (LLMs) now answer medical exam questions at or above expert level, but it is unclear whether such scores reflect clinical competence, or are instead affected by the format of the questions being asked (e.g.,…
Кратко от AI: Главные тезисы
- arXiv:2611.00460v1 Announce Type: new Abstract: Large language models (LLMs) now answer medical exam questions at or above expert level, but it is unclear whether such scores reflect clinical competence, or are instead affected by the format of the questions being asked (e.g.,…
From Small to Large: Assessing Medical Reasoning, Benchmark Contamination, and Model Size in Language Models
Похожие материалы
OpenAI заявляет, что ChatGPT догоняет Google по поиску
Во многих кругах «Ask Chat» заменил «Google it», и это отражено в новом объявлении OpenAI: объем поисковых запросов, проходящих через ChatGPT, теперь равен 20 процентам объема, проходящего через Google. Адам Фрай, руководитель отдела потребительских продуктов OpenAI для ChatGPT, сделал…
ИсправитьGPT
GPT6 Astra фактически разработала печатную плату. Разве это не безумие? [музыка] Не смотри как неряха. Старайся изо всех сил, Джастин. Меня зовут Джастин Линн. Я работаю в исследовательской группе OpenAI. В этом проекте я хотел продемонстрировать то, что мы делали с Astra, сочетание…
Qodo привносит контекст компании в проверку кода Кодекса
Плагин Qodo Codex привносит контекст компании, стандарты кодовой базы и независимую проверку в рабочий процесс разработки. Это помогает разработчикам выявлять ошибки в разных репозиториях, когда изменение может выглядеть правильно в одной базе кода и нарушить работу службы в другой. В Behind the Build сооснователь…
CLEAR измерила налог на токенизатор в разных языках
📌CLEAR измерила налог на токенизатор в разных языках Объединение Coalition for Language Equity in AI Research (CLEAR), опубликовало первое из своих исследований языкового равенства. Поставщики моделей берут плату за токен независимо от языка, а токенизаторы обучены в основном…