Omega-Model RL Prototype

Вычислительный прототип 5D-циклической Omega-модели — игрушечной математической формализации метафоры Omega-точки Тейяра де Шардена и Типлера.

Важно: это игрушечная модель, не физическая теория. «5D» — пространство состояния, «кваанты сознания» — математические сущности, а не частицы.

Что это

Модель описывает циклическую вселенную:

1. Big Bang — из сингулярности разворачивается 5D-сфера.
2. Expansion — генерируется дерево ветвей (все возможные миры).
3. Experience — в каждой ветке симулируются «кваанты сознания».
4. Omega Check — проверяется глобальная когерентность.
5. Collapse — если когерентность выше порога, идеальная ветка сжимается в новую сингулярность.

Когерентность C = |Σψ|² / Σ|ψ|² — основная метрика.

История версий

v11: эволюция ветвей

Идея: ветви рождаются и умирают динамически:

• energy — растёт от когерентности, падает со временем.
• prune_branches — удаляет мёртвые ветви.
• spawn_branches — создаёт новые от root.
• Reward — популяционный (alive / initial + C - S/12).

Результаты v11 (5 сидов, 4 условия):

t-тесты:

• trained vs random: t = +4.10, p = 0.0011 ✅
• trained vs shuffled: t = +10.33, p < 0.0001 ✅
• trained vs constant: t = +11.40, p < 0.0001 ✅

v11.1: 10 сидов + MCTS

Добавлено:

• 10 сидов (было 5) — надёжная статистика.
• MCTS (Monte-Carlo Tree Search, 3 симуляции) — классический baseline.
• TRAIN_STEPS = 30000 — компромисс.

Результаты v11.1 (10 сидов, 5 условий):

t-тесты:

• trained vs random: t = +2.22, p = 0.0534 (тренд)
• trained vs shuffled: t = +6.69, p = 0.0001 ✅
• trained vs constant: t = +7.59, p < 0.0001 ✅

PPO vs MCTS

MCTS (18.32) > PPO (16.30) на 12%.

Интерпретация:

• MCTS — классический поиск, не требует обучения.
• PPO — нейросеть, требует 30000 шагов обучения.
• MCTS лучше в маленькой среде (40 ветвей).
• PPO в 100 раз быстрее на инференсе (MCTS требует deepcopy).
• PPO масштабируется на большие среды, MCTS — нет.

Вывод: в малых средах классический поиск конкурентен; для больших сред нужны нейросети.

Структура репозитория

v12.1: bugfix + complexity presets

Файл: v12.1/omega_v12_1.py

Что нового:

• Валидация конфига (max_branches >= initial_branches, death_threshold < spawn_threshold).
• Флаг extinct — отслеживание вымирания популяции.
• Кэш mean_state — ускорение O(N²) → O(N).
• Сохранение PPO-модели — v12_results/ppo_*.zip.
• Пресеты сложности — --complexity {baseline,a,b,c}.
• Флаг extinct_steps в evaluate_policy.

Результаты v12.1 (5 сидов, N=40, preset c, combined reward):

Разрыв: PPO − random = +0.059 (+27.6%); MCTS − PPO = +0.273 (+100.4%).

v12.2: coherence reward + scaling

Файл: v12.2/omega_v12_2.py

Что нового:

• --reward coherence — чистый reward только по C (без штрафов).
• Визуализация в cmd — ASCII bar chart, per-seed разброс, разрывы.
• ProgressCallback — прогресс-бар PPO каждые 2000 шагов.
• --mode scaling — scaling по N.
• --mode show — просмотр CSV без перезапуска.
• Исправлен save_path — модели не перезаписываются.

Ключевой результат: reward ablation

Combined reward (провал):

Coherence reward (прорыв):

PPO C вырос с 0.230 до 0.536 (+135%) при смене reward. PPO почти догнал MCTS (+1.6%).

Scaling N=10..160 (coherence reward, 50k шагов)

Ключевые выводы:

• Crossover при N=20: PPO обгоняет MCTS.
• MCTS выигрывает при N=10 и N≥80.
• PPO в 30× быстрее на инференсе (0.8с vs 24с).
• PPO стабильнее по std между сидами.

Установка

pip install numpy gymnasium stable-baselines3 pandas matplotlib