Switchyard
нейросеть
Switchyard — открытый роутер моделей для оптимизации стоимости запросов и автоматического выбора провайдера по рыночным данным.
Характеристики
- Входные данные
- текст, документы
- Результат
- текст
- Размер контекста
- 1 000 000 токенов
- Макс. длина ответа
- 330 000 токенов
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'switchyard',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'switchyard',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Как работает Switchyard?
Switchyard — открытый роутер моделей, который переключается между несколькими моделями, чтобы оптимизировать стоимость запросов; по умолчанию использует рыночные данные OpenRouter для выбора популярных моделей. Он пригоден для интеграций, где важны автоматическое распределение нагрузки, резервирование и управление затратами на вычисления. Через BotHub вы подключаете Switchyard к экосистеме из более чем 250 моделей, пользуетесь единым OpenAI‑совместимым API для мультимодельных систем, получаете доступ из России без VPN и оплату в рублях по факту, а также удобное сравнение вариантов в одном окне. Сценарии применения: снижение расходов на inference в продакшене, фоллбек и балансировка между провайдерами, A/B‑тестирование моделей для продуктовой команды, автоматическое переключение по стоимости для стартапов и DevOps.Частые вопросы о Switchyard
Вы можете использовать результаты генерации в коммерческих целях. Все права на созданный контент принадлежат вам. Единственное ограничение: убедитесь, что в запросе не использовались защищённые авторским правом материалы третьих сторон. Ответственность за соблюдение прав на входные данные лежит на пользователе.
Switchyard — модель для преобразования текста и работы с документами: TEXT_TO_TEXT и DOCUMENT_TO_TEXT. Подходит для разбора и суммаризации больших документов, извлечения информации и генерации развёрнутых ответов по длинному контексту благодаря очень большой контекстной памяти.
Switchyard может сгенерировать очень большой объём текста в одном отклике: в наших данных указан максимальный объём вывода в токенах. Конкретно модель поддерживает генерацию до 330000 выходных токенов, что позволяет формировать длинные развёрнутые ответы.
В наших данных отмечено не было, что модель выполняет внутренние рассуждения перед ответом, поэтому подтверждения нет. При этом большой контекст позволяет строить промпты с пошаговыми инструкциями, чтобы получить более развернутые логические выводы от модели.
В наших данных поддержка вызова функций и встроенного function calling не отмечена. Вы можете запросить структурированный текстовый вывод в формате JSON через промпт, однако официальной информации о нативной поддержке вызовов функций в модели в данных нет.
Switchyard принимает на вход документы и работает в режиме DOCUMENT_TO_TEXT. В наших данных отмечен приём документов; поддержка загрузки отдельных изображений, аудио или видео в явном виде в данных не указана, поэтому это следует уточнять при интеграции.
В данных языковая поддержка не указана, поэтому точную оценку понять сложно. Насколько хорошо модель понимает русский, зависит от её обучения и ваших задач. Рекомендуем протестировать на типичных промптах и документах, чтобы оценить качество в конкретных сценариях.