BIGAI-models/MagicText-2.0-BF

WARNING: THIS MODEL IS NOT SUITABLE FOR USE BY MINORS.

The model may generate content that is not appropriate for children. By using this model, you confirm that you are an adult (18+).

MagicText 2.0 модель

Новая модель MagicText основана на модифицированной архитектуре Transformer.Decoder и показывает хорошие результаты. Также, модель получилас спец. токены - 🚀 (начало промпта) 🔄 (конец промпта) 🟢 (начало генерации) 🏁 (конец генерации).

Модель является не готовой, нуждается в дообучении. Модель имеет ~~46М параметров, и для своих размеров справляется с генерацией текста хорошо. Данная архитектура показывала хорошие результаты при обучении, LOSS снижался не хаотично.

Протестировать модель: Colab