Маршрутизация с учетом углерода для вызова функций в системах LLM Edge-Cloud

Модели больших языков (LLM) с возможностями вызова функций становятся критически важными для современных агентных систем искусственного интеллекта. Тем не менее, текущие развертывания обычно направляют выводы на мощные облачные модели, что приводит к значительному потреблению энергии и выбросам углекислого газа. Мы обращаемся…