ОЦЕНКА ЭФФЕКТИВНОСТИ СИНТЕЗА СТОХАСТИЧЕСКИХ МОДЕЛЕЙ С УПРАВЛЯЕМЫМИ СВОЙСТВАМИ

Аннотация

В работе исследуется возможность использования больших языковых моделей (LLM) в качестве источников стохастических бинарных последовательностей с управляемыми статистическими свойствами. Показано, что гиперпараметр температуры, регулирующий дисперсию выходного распределения вероятностей токенов, может рассматриваться как инструмент контролируемого управления энтропией генерируемых данных. На основе модели GPT-2 реализована методика преобразования вероятностных выходов LLM в бинарные последовательности фиксированной длины и проведена их оценка с использованием энтропийного анализа и адаптированного набора статистических тестов, аналогичных NIST SP 800-22. Экспериментальные результаты демонстрируют монотонный рост энтропии с увеличением температуры и существенное улучшение статистических характеристик последовательностей. При температурах T ≥ 2.0 достигается прохождение до 83,3% применённых тестов, что соответствует уровню качественных псевдослучайных последовательностей для некриптографических применений. Одновременно выявлено ограничение подхода, связанное с наличием слабовыраженных периодических компонент, обусловленных архитектурной детерминированностью модели. Полученные результаты определяют границы применимости LLM в задачах моделирования, синтеза данных и тестирования алгоритмов.