Llama 3.1 — 8B (instruct)
нейросеть
Llama 3.1 8B (instruct) — компактная модель нового поколения Llama от Meta, оптимизированная под инструкции. Обеспечивает быстрый отклик и экономное использование ресурсов, хорошо подходит для чат-ассистентов, генерации инструкций и обработки текстов. Доступна через личный кабинет на BotHub без необходимости VPN и с оплатой в рублях.
Характеристики
- Входные данные
- текст, изображения, документы
- Результат
- текст
- Размер контекста
- 131 072 токена
- Макс. длина ответа
- 16 384 токена
- Возможности
- вызов функций
Стоимость промпта
(за 1M токенов)
Стоимость ответа
(за 1M токенов)
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.1-8b-instruct',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.1-8b-instruct',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Как работает Llama 3.1 — 8B (instruct)?
Попробуйте Llama 3.1 8B на BotHub — быстро и без VPN.Частые вопросы о Llama 3.1 — 8B (instruct)
Вы можете использовать результаты генерации в коммерческих целях. Все права на созданный контент принадлежат вам. Единственное ограничение: убедитесь, что в запросе не использовались защищённые авторским правом материалы третьих сторон. Ответственность за соблюдение прав на входные данные лежит на пользователе.
Llama 3.1 8B Instruct — модель для работы с инструкциями: генерация, редактирование, суммаризация и обработка документов. Поддерживает приём изображений как вход и интеграцию инструментов, подходит для приложений с формализованным выводом и обработкой длинного контекста.
По данным модели максимальный размер выходного текста измеряется в токенах: максимальный объём вывода указан как 117964 токенов. На практике итоговый объём ответа будет зависеть от настроек платформы и занимаемого входным контекстом места.
В наших данных отсутствует явная отметка о встроенной генерации рассуждений перед ответом. Тем не менее модель можно направлять промптами и инструментами для пошагового анализа, а также интегрировать внешнюю логику для явных цепочек рассуждений.
Да, модель подтверждённо поддерживает вызов функций и структурированный вывод в формате JSON, что удобно для интеграции с приложениями. Это позволяет формировать предсказуемые структуры данных для дальнейшей обработки и автоматизации.
По данным модели приём на вход помимо текста подтверждён для изображений и документов. Про приём аудио или видео в имеющихся данных не отмечено; при необходимости работы с этими форматами стоит уточнить поддержку у платформы или конвертировать файлы.
В доступных данных нет прямой информации о качестве понимания русского. Модель ориентирована на работу с текстами и документами, поэтому качество понимания будет зависеть от промптов, примеров и конкретной задачи; рекомендуется провести тестирование на ваших сценариях.