SILLIS MODEL / СТРАНИЦА МОДЕЛИиюль 2026

Русскоязычная модель, которую мы строим с нуля.

Собственная decoder-only base-модель для продуктов SilliS: свой корпус, свой токенизатор, случайная инициализация весов и проверяемый путь от отбора данных до выпуска.

Как она устроена Текущий статус

≈0,4B*

Первый ориентир размера

SilliS-Ru-0.4B-Base-v0.1. *Размер и архитектура не заморожены — их выберут эксперименты, а не чужая конфигурация.

Перенесённых весов

Случайная инициализация. Без чужих pretrained-весов, teacher outputs и синтетики из других моделей.

Основной язык корпуса

Каждая обучающая запись — Russian-primary. Знания о всём мире — в русском изложении.

01 / ТРИ УРОВНЯ

Не файл с весами — система из трёх уровней.

3 · ЭКОСИСТЕМА ПРОДУКТОВассистенты · поиск · документы

2 · ИНЖЕНЕРНАЯ ПЛАТФОРМАданные · обучение · оценки

1 · SILLIS-RU BASE

Decoder-only ядро: учится предсказывать следующий токен русского текста.

Ядро: SilliS-Ru Base

Базовая модель общего назначения. Изучает языковые закономерности и знания, изложенные по-русски, — но сама по себе не чат-ассистент.

Инженерная платформа

Воспроизводимый контур вокруг ядра: происхождение данных и права, фильтрация, токенизатор, обучение, checkpoints, оценки, версии и hashes.

Экосистема продуктов

Диалог, инструменты, доступ к знаниям и правила сервиса добавляются отдельным слоем — своим для каждого продукта. Одно ядро, много применений.

02 / РУССКИЙ В ОСНОВЕ

Свой токенизатор — потому что русский дробится иначе.

Универсальные словари, обученные в основном на английском, режут русские слова на лишние куски — модель тратит контекст и вычисления впустую.

Мы обучаем токенизатор на русском корпусе и сравниваем кандидатов по числу токенов на слово, обратимости и Unicode-корректности. Меньше токенов — больше смысла в том же контекстном окне.

кандидатов уже обучено с нуля

BPE-v4096

рабочий словарь smoke-проверок

СЛОВО: «ПРЕДСКАЗУЕМОСТЬ»иллюстрация принципа

УНИВЕРСАЛЬНЫЙ СЛОВАРЬ

предсказуемость7 токенов

SILLIS BPE · КАНДИДАТ

предсказуемость3 токена

Финальный словарь будет принят по измерениям — fertility, обратимость, Unicode-корректность.

03 / ЧЕМ ОТЛИЧАЕТСЯ

Не адаптация чужого. Своё — по всей цепочке.

Обучение с нуля

Случайная инициализация весов. Открытые научные идеи и библиотеки — да; чужие pretrained-веса, teacher outputs и переписанные другой моделью данные — нет.

Русский — основной язык

Каждая запись корпуса Russian-primary. Мировая наука, культура и технологии — в русском изложении; имена, формулы и код внутри текста допустимы.

Архитектура по экспериментам

Глубина, ширина, attention, позиционное кодирование и нормализация выбираются на контролируемых сравнениях — не потому, что «так делают все».

Проверяемый результат

Конфигурации, seeds, версии кода, hashes данных, checkpoints и отчёты связаны между собой. Отрицательные метрики не удаляются из истории.

Данные под контролем

Источник, доступ, включение в корпус, обучение и выпуск — разные решения. Разрешение одного этапа не открывает следующий автоматически.

Компактность как принцип

Класс ≈0.4B исследуется как баланс качества, стоимости экспериментов и возможности локального развёртывания рядом с продуктами.

База и продукты разделены

Base-модель изучает язык и знания. Диалог, инструкции, инструменты и правила сервиса — отдельный прикладной уровень поверх ядра.

04 / ПРИНЦИП РАБОТЫ

Один токен за раз.

Токенизация

Текст превращается в числовую последовательность. Токен — слово, часть слова или знак.

Причинный контекст

Модель видит только предыдущую часть текста — будущее ей недоступно. Это проверяется отдельными тестами.

Предсказание

Модель вычисляет вероятности следующего токена и выбирает его — жадно или со случайностью.

Цикл

Новый токен добавляется к контексту — и всё повторяется до конца ответа или лимита.

ГЕНЕРАЦИЯ · ТОКЕН ЗА ТОКЕНОМиллюстрация

Модель предсказывает

контекст → вероятности → следующий токен → снова

ГРАНИЦА ВОЗМОЖНОСТЕЙ

Base-модель не получает доступ к интернету, файлам или действиям автоматически. Такие возможности отдельно и явно добавляет конкретный продукт — со своими правилами и проверками.

05 / ПУТЬ К МОДЕЛИ

Каждый этап — отдельное решение.

Между этапами стоят gates — контрольные точки, где неизвестное право, отсутствующий отчёт или несовпавший hash означают «стоп», а не «наверное можно».

Кандидаты источников

Фиксируются происхождение, правовой статус и разрешённые операции. Русский язык текста сам по себе не доказывает права или качество.

GATE · ПРАВА, PROVENANCE И PRIVACY

Карантин и очистка

Проверка языка, качества, дубликатов, персональных данных, секретов и пересечений с тестовыми наборами.

Разделение данных

Train / validation / test и contamination review — чтобы оценка не подглядывала в обучение.

Выбор основного токенизатора

Кандидаты сравниваются на русском тексте: качество разбиения, fertility, обратимость, Unicode.

Случайная инициализация

Decoder-only модель создаётся без перенесённых навыков — до обучения она не умеет ничего.

GATE · РАЗРЕШЕНИЕ НА ОСНОВНОЕ ОБУЧЕНИЕ

Pretraining

Модель миллионы раз решает задачу следующего токена. Checkpoints с контролем целостности и точным продолжением.

Проверки

Evaluation, memorization, safety и воспроизводимость. Отрицательная метрика сохраняется и влияет на решение.

GATE · RELEASE

Работающий checkpoint ≠ готовый продукт. Выпуск — отдельное решение: model card, лицензия, ограничения, точные hashes.

06 / ГДЕ МЫ СЕЙЧАС

Честный статус.

Исследовательский контур уже прошёл полный маленький цикл — от сырого текста до генерации. Основная модель впереди.

5,2 млн

параметров в tiny-модели, проверенной end-to-end (точно: 5 245 184)

−99,31 %

loss в one-batch overfit — два воспроизводимых повтора

40 + 8

шагов обучения на real-source корпусе и точного продолжения с checkpoint

токенизаторов-кандидатов обучено с нуля; столько же архитектурных proxy-сравнений

ПОДТВЕРЖДЕНО

✓Монорепозиторий, воспроизводимая среда, автоматические проверки

✓Causal masking подтверждён отдельными тестами

✓Отказ при повреждении checkpoint — восстановление только из целого

✓Локальная генерация: greedy и seeded top-k

✓Fail-closed политики данных, privacy и выпуска

ВПЕРЕДИ

○Основной representative-корпус — не принят

○Основной токенизатор — не выбран

○Scaling-измерения и финальная архитектура — впереди

○Основной pretraining — не запускался; post-training — не создавался

○Публичные веса, API и лицензия — решение после отдельного review

Tiny-контур доказывает работоспособность pipeline, а не качество будущей основной модели. Порядок работы задают доказательства и gates, а не календарь.

07 / ВОПРОСЫ

Прямые ответы.

Без маркетингового тумана: что уже есть, чего пока нет и почему так.

Нет. Готов и проверен исследовательский pipeline от сырого текста до генерации. Основная модель класса 0.4B ещё не обучена и не выпущена.

Нет. Сначала создаётся base-модель — она изучает язык и знания. Диалоговое поведение, выполнение инструкций и продуктовые функции — отдельный post-training и прикладной уровень.

Русский — основной язык каждой обучающей записи. Знания могут касаться всего мира: наука, культура, технологии — в русском изложении. Имена, формулы, код и короткие иностранные фрагменты внутри русского текста допустимы.

Основной pretraining не использует чужие pretrained-веса, скрытые teacher outputs, синтетические или переписанные другой моделью данные. Открытые научные идеи, алгоритмы и обычные библиотеки — используются.

Компактный класс дешевле проверять экспериментами и проще развернуть локально рядом с продуктами. Точный размер будет принят после scaling-измерений и полноразмерной репетиции — это ориентир, а не обещание.

Решение о лицензии и канале выпуска ещё не принято. Публикация потребует отдельной проверки прав, privacy и безопасности — это явный release gate, а не действие по умолчанию.

Модель — ядро. Всё остальное экосистема добавляет поверх — управляемо и проверяемо.

Вся экосистема SilliS →Наверх