Llama 3.2 1B (Instruct)
нейросеть
Llama 3.2 1B (Instruct) — языковая модель на 1 миллиарде параметров, оптимизированная для эффективной обработки естественного языка. За счёт компактного размера она обеспечивает низкие задержки и сниженные требования к ресурсам, что удобно для чат-ботов, суммаризации и многоязычного анализа текста. Доступна через BotHub — удобный и экономичный способ протестировать и внедрить модель без VPN и с оплатой в рублях.
Характеристики
- Входные данные
- текст, изображения, документы
- Результат
- текст
- Размер контекста
- 60 000 токенов
- Макс. длина ответа
- 54 000 токенов
Стоимость промпта
(за 1M токенов)
Стоимость ответа
(за 1M токенов)
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.2-1b-instruct',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.2-1b-instruct',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Как работает Llama 3.2 1B (Instruct)?
Попробуйте Llama 3.2 1B на BotHub — быстрый и экономичный выбор для прототипов.Частые вопросы о Llama 3.2 1B (Instruct)
Вы можете использовать результаты генерации в коммерческих целях. Все права на созданный контент принадлежат вам. Единственное ограничение: убедитесь, что в запросе не использовались защищённые авторским правом материалы третьих сторон. Ответственность за соблюдение прав на входные данные лежит на пользователе.
Llama 3.2 1B Instruct — инструкция‑ориентированная модель для текстовых задач: генерация, суммаризация, извлечение информации из документов и преобразование изображений в текст. Подходит для работы с очень длинными контекстами благодаря увеличенной длине контекста и объёму вывода.
Максимальный объём вывода указан как 54000 токенов; фактическое число слов зависит от токенизации и содержания. Модель также поддерживает контекст до 131072 токенов, что делает её пригодной для обработки больших документов и длинных диалогов.
В наших данных не отмечено, выполняет ли модель внутренние пошаговые рассуждения перед финальным ответом. Если вам важны явные рассуждения, можно запросить пошаговое объяснение в выводе и оценить качество на ваших задачах.
В наших данных не отмечено наличие встроенного механизма function calling. Модель генерирует текстовый вывод, и структурированный JSON можно попробовать получить как текст, но нативная поддержка вызова функций через API у нас не подтверждена.
Модель принимает на вход изображения и документы — это указано в данных. Про приём аудио и видео в наших данных не отмечено, поэтому по ним точной информации нет; проверьте поведение на конкретных примерах вашего рабочего процесса.
В данных нет явной оценки качества понимания русского языка. Модель работает с текстом, но точные показатели по русскому не указаны. Рекомендуем провести собственное тестирование на ваших примерах и сравнить результаты с другими моделями на BotHub.