Llama 3.1 — 70B Instruct
нейросеть
Инструк‑тюненная версия Llama 3.1 с 70 миллиардами параметров, оптимизированная для естественных и последовательных разговоров. Подходит для чат‑ботов, виртуальных помощников и задач, где важны точное следование инструкциям и развернутые ответы. Доступна на BotHub для удобного тестирования и интеграции из личного кабинета.
Характеристики
- Входные данные
- текст, изображения, документы
- Результат
- текст
- Размер контекста
- 131 072 токена
- Макс. длина ответа
- 8 192 токена
- Возможности
- вызов функций
Стоимость промпта
(за 1M токенов)
Стоимость ответа
(за 1M токенов)
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.1-70b-instruct',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.1-70b-instruct',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Как работает Llama 3.1 — 70B Instruct?
Попробуйте Llama 3.1 70B в BotHub — запустите тестовый сеанс в личном кабинете.Частые вопросы о Llama 3.1 — 70B Instruct
Вы можете использовать результаты генерации в коммерческих целях. Все права на созданный контент принадлежат вам. Единственное ограничение: убедитесь, что в запросе не использовались защищённые авторским правом материалы третьих сторон. Ответственность за соблюдение прав на входные данные лежит на пользователе.
Модель Llama 3.1 70B Instruct — инструкция‑ориентированный языковой движок, выполняющий преобразование текста и работу с документами и изображениями. Подходит для развёрнутых ответов, обработки документов, генерации структурированных результатов, помощи с кодом и автоматизации задач через подключаемые инструменты.
Модель может выдавать до 16384 токенов вывода за один ответ, а контекстная длина до 131072 токенов позволяет учитывать большой объём входных данных. Это даёт возможность генерировать развёрнутые тексты и документы в рамках одного запроса.
В наших данных отметка о встроенном «рассуждении перед ответом» не указана. Модель может давать пошаговые объяснения и развёрнутые аргументы по запросу, но явная поддержка скрытого chain‑of‑thought не подтверждена в доступной информации.
Да, модель поддерживает вызов функций и структурированный вывод, включая JSON. Это удобно для интеграции с внешними сервисами, автоматизации и формирования машинно‑читаемых ответов через инструменты и API.
В наших данных указано, что модель принимает изображения и документы на вход, позволяя сочетать текст и визуальные данные. Приём аудио или видео в доступной информации явно не отмечен, уточняйте поддержку таких форматов при интеграции.
Точная оценка понимания русского языка не указана в данных. Llama‑серия имеет мультиъязычные возможности и способна работать с русскими текстами, но качество может варьироваться; рекомендуем проверять результаты и при необходимости сравнивать модели в BotHub.