Материал агрегирован из первоисточника:
YouTube — Astar Acceptman
Читать полностью в YouTube — Astar AcceptmanМатериал собран из открытых источников. Если размещение затрагивает ваши права → Удалить информацию
Данил Сивцов | Системы инференса под нагрузкой: управление KV-cache, батчинг, шедулинг
Э, сейчас поговорим про более такие прикладные вещи, типа, а как устроен прот, как он развивался. Ну, опять же, в приложении лмок, ну, как бы, что уж. Ллэмки сейчас одни из самых как бы сложных штук для инференса, и все ими пользуются, поэтому как бы про них и говорим. Вот. А, и…
Кратко от AI: Главные тезисы
- Э, сейчас поговорим про более такие прикладные вещи, типа, а как устроен прот, как он развивался
- Ну, опять же, в приложении лмок, ну, как бы, что уж
- Ллэмки сейчас одни из самых как бы сложных штук для инференса, и все ими пользуются, поэтому как бы про них и говорим
Похожие материалы
Хватит платить за ИИ, запускайте все локально (вот как)
Большие лаборатории не собираются об этом говорить, а будут постоянно изучать идею улучшения моделей для ваших собственных сценариев использования [музыки] для ваших собственных рабочих процессов. У крупных лабораторий нет стимула предоставлять пользователям эту [музыку], потому что они тренируют свои модели для нормальной работы…
Сэм Альтман раскрывает окончательный план OpenAI (это безумие)
Сэм Алман, генеральный директор OpenAI, компании, стоящей за ChatGpt, только что сказал своим сотрудникам, что вся эта гонка ИИ может закончиться только тремя способами. И одним из таких финалов является то, что одна компания становится настолько могущественной, что может буквально расплавить графические процессоры всех остальных. Это не…
Научитесь создавать более совершенных агентов ИИ с помощью лучшего контекста
Узнайте больше: https://bit.ly/4yy5iWP Чем дольше работает агент, тем больше повторяющейся, противоречивой или устаревшей информации накапливается в его контексте. Модели работают хуже по мере роста их контекста. Эту проблему Джефф Хубер и его команда из Chroma назвали «Context Rot». В нашем новом курсе «Контекст…
Яннис x Поиск в Google: Обручи Miami Pickup Hoops
Прямой эфир с 305-го. Я был в Майами всего минуту. Я не видел стритбола. [игрок кричит] Поехали! Вот о чем я говорю. [Яннис продолжает] Давайте посмотрим, на что способен Google Search. [Яннис озвучивает вопрос] Хорошо. [Яннис продолжает] Хосе Марти. Хорошо. Да,…