Llama 3.1 — 70B Instruct

нейросеть

Инструк‑тюненная версия Llama 3.1 с 70 миллиардами параметров, оптимизированная для естественных и последовательных разговоров. Подходит для чат‑ботов, виртуальных помощников и задач, где важны точное следование инструкциям и развернутые ответы. Доступна на BotHub для удобного тестирования и интеграции из личного кабинета.

Характеристики

Входные данные
текст, изображения, документы
Результат
текст
Размер контекста
131 072 токена
Макс. длина ответа
8 192 токена
Возможности
вызов функций
78,16 ₽

Стоимость промпта

(за 1M токенов)

78,16 ₽

Стоимость ответа

(за 1M токенов)

*Указаны цены при использовании API через ECO-провайдеров.
bothub
BotHub: Попробуйте нейросети бесплатноbot

Осталось Caps: 0 CAPS
Пример кода и API для Llama 3.1 — 70B InstructМы предлагаем полный доступ к API OpenAI через наш сервис. Все наши конечные точки полностью соответствуют конечным точкам OpenAI, их можно использовать как с плагинами, так и при разработке собственного программного обеспечения через SDK.Создать API ключ
import OpenAI from 'openai';
const openai = new OpenAI({
  apiKey: '<your bothub access token>',
  baseURL: 'https://openai.bothub.chat/v1'
});


// Sync - Text generation 

async function main() {
  const chatCompletion = await openai.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'llama-3.1-70b-instruct',
  });
} 

// Async - Text generation 

async function main() {
  const stream = await openai.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'llama-3.1-70b-instruct',
    stream: true
  });

  for await (const chunk of stream) {
    const part: string | null = chunk.choices[0].delta?.content ?? null;
  }
} 
main();
illustaration

Как работает Llama 3.1 — 70B Instruct?

Попробуйте Llama 3.1 70B в BotHub — запустите тестовый сеанс в личном кабинете.

Частые вопросы о Llama 3.1 — 70B Instruct

Вы можете использовать результаты генерации в коммерческих целях. Все права на созданный контент принадлежат вам. Единственное ограничение: убедитесь, что в запросе не использовались защищённые авторским правом материалы третьих сторон. Ответственность за соблюдение прав на входные данные лежит на пользователе.

Модель Llama 3.1 70B Instruct — инструкция‑ориентированный языковой движок, выполняющий преобразование текста и работу с документами и изображениями. Подходит для развёрнутых ответов, обработки документов, генерации структурированных результатов, помощи с кодом и автоматизации задач через подключаемые инструменты.

Модель может выдавать до 16384 токенов вывода за один ответ, а контекстная длина до 131072 токенов позволяет учитывать большой объём входных данных. Это даёт возможность генерировать развёрнутые тексты и документы в рамках одного запроса.

В наших данных отметка о встроенном «рассуждении перед ответом» не указана. Модель может давать пошаговые объяснения и развёрнутые аргументы по запросу, но явная поддержка скрытого chain‑of‑thought не подтверждена в доступной информации.

Да, модель поддерживает вызов функций и структурированный вывод, включая JSON. Это удобно для интеграции с внешними сервисами, автоматизации и формирования машинно‑читаемых ответов через инструменты и API.

В наших данных указано, что модель принимает изображения и документы на вход, позволяя сочетать текст и визуальные данные. Приём аудио или видео в доступной информации явно не отмечен, уточняйте поддержку таких форматов при интеграции.

Точная оценка понимания русского языка не указана в данных. Llama‑серия имеет мультиъязычные возможности и способна работать с русскими текстами, но качество может варьироваться; рекомендуем проверять результаты и при необходимости сравнивать модели в BotHub.

Служба поддержкиРаботаем с 10:00 до 18:00 по МСК