Instructions to use OpenRussianAI/AndreyBot with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use OpenRussianAI/AndreyBot with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="OpenRussianAI/AndreyBot")# Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("OpenRussianAI/AndreyBot") model = AutoModelForCausalLM.from_pretrained("OpenRussianAI/AndreyBot") - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use OpenRussianAI/AndreyBot with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "OpenRussianAI/AndreyBot" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "OpenRussianAI/AndreyBot", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker
docker model run hf.co/OpenRussianAI/AndreyBot
- SGLang
How to use OpenRussianAI/AndreyBot with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "OpenRussianAI/AndreyBot" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "OpenRussianAI/AndreyBot", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "OpenRussianAI/AndreyBot" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "OpenRussianAI/AndreyBot", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }' - Docker Model Runner
How to use OpenRussianAI/AndreyBot with Docker Model Runner:
docker model run hf.co/OpenRussianAI/AndreyBot
Создатель: Евгений (OpenRussianAI) из Твери 🇷🇺
🤖 Андрей AI — 273 МБ диалоговый ИИ
🧠 Архитектура: GPT-2 (8 слоёв, 8 голов)
📊 Параметров: ~33 млн
📊 Характеристики модели
| Параметр | Значение |
|---|---|
| Размер | 273 МБ |
| Архитектура | GPT-2 (8 слоёв, 8 голов) |
| Параметров | 33 693 312 |
| Embedding | 384 |
| Словарь | 50 257 токенов |
| Контекст | 512 токенов |
| Эпох обучения | 3 |
| Датасет | Minset (58 663 диалогов) |
| Язык | Русский |
| Фреймворк | PyTorch |
| Формат | PyTorch (.bin) |
🧠 Что умеет Андрей
| Функция | Описание |
|---|---|
| Общение | Ведёт диалог как человек |
| Ответы | Отвечает на любые вопросы |
| Контекст | Понимает последовательность |
| Знания | На основе датасета Minset |
| Дружба | Всегда поддерживает беседу |
| Дом | Hugging Face |
📱 Примеры диалогов
👤 Вы: привет 🤖 Андрей: Привет! Как у тебя дела?
👤 Вы: кто такой пушкин 🤖 Андрей: Александр Пушкин — великий русский поэт.
👤 Вы: как сделать сайт 🤖 Андрей: Нужно знать HTML, CSS, JavaScript и серверный язык.
👤 Вы: кто тебя создал 🤖 Андрей: Меня создал Евгений из OpenRussianAI в Твери.
👤 Вы: где ты живёшь 🤖 Андрей: Я живу на Hugging Face, это мой дом.
🚀 Использование
Установка зависимостей
pip install transformers torch
Загрузка модели
from transformers import AutoTokenizer, AutoModelForCausalLM import torch
Загрузка модели Андрей
tokenizer = AutoTokenizer.from_pretrained("root39058/AndreyBot") model = AutoModelForCausalLM.from_pretrained("root39058/AndreyBot")
Функция для общения
def ask_andrey(question): prompt = f"Человек: {question}\nАссистент:" inputs = tokenizer(prompt, return_tensors="pt")
with torch.no_grad():
outputs = model.generate(
inputs.input_ids,
max_length=100,
temperature=0.7,
do_sample=True,
top_p=0.9,
pad_token_id=tokenizer.eos_token_id
)
answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
return answer.split("Ассистент:")[-1].strip()
Пример
print(ask_andrey("Привет! Как дела?"))
Простой код для чата
from transformers import AutoTokenizer, AutoModelForCausalLM import torch
tokenizer = AutoTokenizer.from_pretrained("root39058/AndreyBot") model = AutoModelForCausalLM.from_pretrained("root39058/AndreyBot")
print("🤖 Андрей: Привет! Давай пообщаемся!") while True: user = input("👤 Вы: ") if user.lower() in ["пока", "выход", "exit"]: print("🤖 Андрей: Пока! Рад был пообщаться!") break
prompt = f"Человек: {user}\nАссистент:"
inputs = tokenizer(prompt, return_tensors="pt")
with torch.no_grad():
outputs = model.generate(
inputs.input_ids,
max_length=150,
temperature=0.7,
do_sample=True,
top_p=0.9,
pad_token_id=tokenizer.eos_token_id
)
answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
answer = answer.split("Ассистент:")[-1].strip()
print(f"🤖 Андрей: {answer}")
📁 Структура репозитория
AndreyBot/ ├── pytorch_model.bin # Веса модели (273 МБ) ├── config.json # Конфигурация модели ├── vocab.json # Словарь (50 257 токенов) ├── tokenizer_config.json # Настройки токенизатора ├── merges.txt # BPE слияния ├── special_tokens_map.json # Специальные токены └── README.md # Этот файл
🛠 Технические детали
Архитектура модели
config = GPT2Config( vocab_size=50257, n_positions=512, n_embd=384, n_layer=8, n_head=8, activation_function="gelu", )
Параметры генерации
- Temperature: 0.7
- Top-P: 0.9
- Max length: 512 токенов
- Do sample: True
🌍 Сравнение с другими ИИ
| Модель | Размер | Язык | Офлайн |
|---|---|---|---|
| Андрей AI | 273 МБ | Русский | ✅ Да |
| ChatGPT | 500+ ГБ | Много | ❌ Нет |
| GPT-2 (small) | 500 МБ | Английский | ✅ Да |
| Gemma 2B | 2+ ГБ | Много | ✅ Да |
| DialoGPT | 350 МБ | Английский | ✅ Да |
💾 Загрузка и установка
Через Git
git clone https://huggingface.co/root39058/AndreyBot cd AndreyBot
Через Hugging Face Hub
from huggingface_hub import snapshot_download
snapshot_download("root39058/AndreyBot", local_dir="./AndreyBot")
📝 Лицензия
MIT License
📞 Контакты
- Создатель: Евгений
- Компания: OpenRussianAI
- Город: Тверь, Россия
- Платформа: Hugging Face
❤️ Сделано с душой в России ❤️
© 2026 OpenRussianAI
- Downloads last month
- 623