Instructions to use OpenRussianAI/AndreyBot with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use OpenRussianAI/AndreyBot with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="OpenRussianAI/AndreyBot")# Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("OpenRussianAI/AndreyBot") model = AutoModelForCausalLM.from_pretrained("OpenRussianAI/AndreyBot") - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use OpenRussianAI/AndreyBot with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "OpenRussianAI/AndreyBot" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "OpenRussianAI/AndreyBot", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker
docker model run hf.co/OpenRussianAI/AndreyBot
- SGLang
How to use OpenRussianAI/AndreyBot with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "OpenRussianAI/AndreyBot" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "OpenRussianAI/AndreyBot", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "OpenRussianAI/AndreyBot" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "OpenRussianAI/AndreyBot", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }' - Docker Model Runner
How to use OpenRussianAI/AndreyBot with Docker Model Runner:
docker model run hf.co/OpenRussianAI/AndreyBot
| license: mit | |
| datasets: | |
| - root39058/Minset | |
| language: | |
| - ru | |
| pipeline_tag: text-generation | |
| library_name: transformers | |
| <!-- БАННЕР --> | |
| <div align="center"> | |
| <img src="https://huggingface.co/root39058/AndreyBot/resolve/main/%D0%91%D0%B5%D0%B7%20%D0%BD%D0%B0%D0%B7%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F.png" width="100%" alt="Andrey AI Banner"> | |
| <br> | |
| <i>Создатель: Евгений (OpenRussianAI) из Твери 🇷🇺</i> | |
| </div> | |
| --- | |
| # 🤖 Андрей AI — 273 МБ диалоговый ИИ | |
| <div align="center"> | |
| <b>📦 Размер модели: 273 МБ</b> | |
| <br> | |
| <b>🧠 Архитектура: GPT-2 (8 слоёв, 8 голов)</b> | |
| <br> | |
| <b>📊 Параметров: ~33 млн</b> | |
| </div> | |
| --- | |
| ## 📊 Характеристики модели | |
| | Параметр | Значение | | |
| |----------|----------| | |
| | **Размер** | 273 МБ | | |
| | **Архитектура** | GPT-2 (8 слоёв, 8 голов) | | |
| | **Параметров** | 33 693 312 | | |
| | **Embedding** | 384 | | |
| | **Словарь** | 50 257 токенов | | |
| | **Контекст** | 512 токенов | | |
| | **Эпох обучения** | 3 | | |
| | **Датасет** | Minset (58 663 диалогов) | | |
| | **Язык** | Русский | | |
| | **Фреймворк** | PyTorch | | |
| | **Формат** | PyTorch (.bin) | | |
| --- | |
| ## 🧠 Что умеет Андрей | |
| | Функция | Описание | | |
| |---------|----------| | |
| | Общение | Ведёт диалог как человек | | |
| | Ответы | Отвечает на любые вопросы | | |
| | Контекст | Понимает последовательность | | |
| | Знания | На основе датасета Minset | | |
| | Дружба | Всегда поддерживает беседу | | |
| | Дом | Hugging Face | | |
| --- | |
| ## 📱 Примеры диалогов | |
| 👤 Вы: привет | |
| 🤖 Андрей: Привет! Как у тебя дела? | |
| 👤 Вы: кто такой пушкин | |
| 🤖 Андрей: Александр Пушкин — великий русский поэт. | |
| 👤 Вы: как сделать сайт | |
| 🤖 Андрей: Нужно знать HTML, CSS, JavaScript и серверный язык. | |
| 👤 Вы: кто тебя создал | |
| 🤖 Андрей: Меня создал Евгений из OpenRussianAI в Твери. | |
| 👤 Вы: где ты живёшь | |
| 🤖 Андрей: Я живу на Hugging Face, это мой дом. | |
| --- | |
| ## 🚀 Использование | |
| ### Установка зависимостей | |
| pip install transformers torch | |
| ### Загрузка модели | |
| from transformers import AutoTokenizer, AutoModelForCausalLM | |
| import torch | |
| # Загрузка модели Андрей | |
| tokenizer = AutoTokenizer.from_pretrained("root39058/AndreyBot") | |
| model = AutoModelForCausalLM.from_pretrained("root39058/AndreyBot") | |
| # Функция для общения | |
| def ask_andrey(question): | |
| prompt = f"Человек: {question}\nАссистент:" | |
| inputs = tokenizer(prompt, return_tensors="pt") | |
| with torch.no_grad(): | |
| outputs = model.generate( | |
| inputs.input_ids, | |
| max_length=100, | |
| temperature=0.7, | |
| do_sample=True, | |
| top_p=0.9, | |
| pad_token_id=tokenizer.eos_token_id | |
| ) | |
| answer = tokenizer.decode(outputs[0], skip_special_tokens=True) | |
| return answer.split("Ассистент:")[-1].strip() | |
| # Пример | |
| print(ask_andrey("Привет! Как дела?")) | |
| ### Простой код для чата | |
| from transformers import AutoTokenizer, AutoModelForCausalLM | |
| import torch | |
| tokenizer = AutoTokenizer.from_pretrained("root39058/AndreyBot") | |
| model = AutoModelForCausalLM.from_pretrained("root39058/AndreyBot") | |
| print("🤖 Андрей: Привет! Давай пообщаемся!") | |
| while True: | |
| user = input("👤 Вы: ") | |
| if user.lower() in ["пока", "выход", "exit"]: | |
| print("🤖 Андрей: Пока! Рад был пообщаться!") | |
| break | |
| prompt = f"Человек: {user}\nАссистент:" | |
| inputs = tokenizer(prompt, return_tensors="pt") | |
| with torch.no_grad(): | |
| outputs = model.generate( | |
| inputs.input_ids, | |
| max_length=150, | |
| temperature=0.7, | |
| do_sample=True, | |
| top_p=0.9, | |
| pad_token_id=tokenizer.eos_token_id | |
| ) | |
| answer = tokenizer.decode(outputs[0], skip_special_tokens=True) | |
| answer = answer.split("Ассистент:")[-1].strip() | |
| print(f"🤖 Андрей: {answer}") | |
| --- | |
| ## 📁 Структура репозитория | |
| AndreyBot/ | |
| ├── pytorch_model.bin # Веса модели (273 МБ) | |
| ├── config.json # Конфигурация модели | |
| ├── vocab.json # Словарь (50 257 токенов) | |
| ├── tokenizer_config.json # Настройки токенизатора | |
| ├── merges.txt # BPE слияния | |
| ├── special_tokens_map.json # Специальные токены | |
| └── README.md # Этот файл | |
| --- | |
| ## 🛠 Технические детали | |
| ### Архитектура модели | |
| config = GPT2Config( | |
| vocab_size=50257, | |
| n_positions=512, | |
| n_embd=384, | |
| n_layer=8, | |
| n_head=8, | |
| activation_function="gelu", | |
| ) | |
| ### Параметры генерации | |
| - Temperature: 0.7 | |
| - Top-P: 0.9 | |
| - Max length: 512 токенов | |
| - Do sample: True | |
| --- | |
| ## 🌍 Сравнение с другими ИИ | |
| | Модель | Размер | Язык | Офлайн | | |
| |--------|--------|------|--------| | |
| | Андрей AI | 273 МБ | Русский | ✅ Да | | |
| | ChatGPT | 500+ ГБ | Много | ❌ Нет | | |
| | GPT-2 (small) | 500 МБ | Английский | ✅ Да | | |
| | Gemma 2B | 2+ ГБ | Много | ✅ Да | | |
| | DialoGPT | 350 МБ | Английский | ✅ Да | | |
| --- | |
| ## 💾 Загрузка и установка | |
| ### Через Git | |
| git clone https://huggingface.co/root39058/AndreyBot | |
| cd AndreyBot | |
| ### Через Hugging Face Hub | |
| from huggingface_hub import snapshot_download | |
| snapshot_download("root39058/AndreyBot", local_dir="./AndreyBot") | |
| --- | |
| ## 📝 Лицензия | |
| MIT License | |
| --- | |
| ## 📞 Контакты | |
| - Создатель: Евгений | |
| - Компания: OpenRussianAI | |
| - Город: Тверь, Россия | |
| - Платформа: Hugging Face | |
| --- | |
| <div align="center"> | |
| <br> | |
| <b>❤️ Сделано с душой в России ❤️</b> | |
| <br> | |
| <img src="https://huggingface.co/root39058/AndreyBot/resolve/main/%D0%91%D0%B5%D0%B7%20%D0%BD%D0%B0%D0%B7%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F.png" width="200" alt="Andrey AI"> | |
| <br> | |
| <i>© 2026 OpenRussianAI</i> | |
| </div> | |