routing.run
- title
- routing.run
- type
- toolbox
- summary
- Слой маршрутизации к моделям с единым OpenAI-совместимым endpoint'ом и фиксированной оплатой за запрос
- tags
- llm, api-router, watchlist
- language
- TypeScript
- license
- open source (license unspecified at time of ingest)
- created
- 2026-05-10
- updated
- 2026-05-10
- lang
- ru
- translation_of
- routing-run
- source_updated
- 2026-05-10
- translated
- 2026-09-01
- translator
- lllm/antigravity/gemini-3.7-flash-medium
routing.run - это слой маршрутизации моделей, который находится между приложением и несколькими провайдерами LLM. Он предоставляет единый OpenAI-совместимый endpoint с цепочками fallback'ов, управлением маршрутизацией на лету и оплатой за запрос, а не за токены. Главный тезис: "провайдеры меняются, ваша интеграция - нет".
Главное отличие от OpenRouter и Chutes - модель ценообразования. OpenRouter и Chutes берут плату за миллион токенов, поэтому расходы растут вместе с длиной промпта и ответа. routing.run тарифицирует каждый запрос по фиксированной ставке независимо от размера контекста. Это становится выгодно, когда вы отправляете промпты размером от 32k до 128k токенов (график на главной странице показывает, что при среднем размере запроса в 128k токенов оплата за токены переваливает за $3k/месяц, тогда как у routing.run график остаётся плоским). По сути, ставка делается на предсказуемость, а не на минимальную стоимость.
Заявленные гарантии:
- Open source инфраструктура маршрутизации (чтобы пользователи могли проверить, как обрабатываются запросы)
- Полное отсутствие логирования промптов (промпты и ответы не сохраняются)
- Никакого отслеживания по IP
- Умный failover провайдеров - обнаружение сбоев и аномальных задержек перенаправляет трафик на рабочие fallback'и
Как это встраивается: прямая замена для OPENAI_BASE_URL, настройка приоритетов провайдеров и порядка fallback'ов в их панели управления, а код приложения остаётся без изменений.
Ограничения и открытые вопросы
- На главной странице не указана лицензия - заявляется "fully open source", но ссылки на репозиторий на маркетинговой странице нет; стоит проверить перед внедрением
- Проект создан недавно, подтверждённого опыта пока нет
- Оплата за запрос выгоднее оплаты за токены только при больших средних размерах контекста; для сценариев с коротким контекстом провайдеры с тарификацией за токены всё ещё дешевле
- Обещание не вести логи - это договорное обязательство; стоит проверить его в политике конфиденциальности и, если возможно, через анализ сетевого трафика на тестовом стенде
Причина добавления в watchlist
Включён в watchlist: крошечный новый проект без истории и с неясным статусом открытого исходного кода (позиционируется как open source, но исходники не выложены). Перепроверить через 90 дней: появился ли публичный репозиторий, понятна ли лицензия, есть ли отзывы клиентов и остаётся ли экономика оплаты за запрос конкурентоспособной по сравнению с тарифами OpenRouter.
Ссылки: llm-api-routing-layer - подробнее об этом паттерне.