ОЦЕНКА ЭФФЕКТИВНОСТИ СИНТЕЗА СТОХАСТИЧЕСКИХ МОДЕЛЕЙ С УПРАВЛЯЕМЫМИ СВОЙСТВАМИ

Аңдатпа

Бұл жұмыста үлкен тілдік модельдерді (LLM) басқарылатын статистикалық қасиеттері бар стохастикалық екілік тізбектердің көзі ретінде пайдалану мүмкіндігі зерттеледі. Токендердің шығыс ықтималдық таралуының дисперсиясын реттейтін температура гиперпараметрі туындатылған деректердің энтропиясын басқарудың құралы ретінде қарастырылады. GPT-2 моделіне негізделіп, LLM-нің ықтималдық шығыстарын бекітілген ұзындықтағы екілік тізбектерге түрлендіру әдістемесі іске асырылды және ол энтропиялық талдау мен NIST SP 800-22 стандартына ұқсас бейімделген статистикалық тесттер жиынтығы арқылы бағаланды. Эксперименттік нәтижелер температураның өсуімен энтропияның монотонды артуын және тізбектердің статистикалық сипаттамаларының айтарлықтай жақсарғанын көрсетеді. T ≥ 2.0 температурада қолданылған тесттердің 83,3%-ына дейін сәтті өтеді, бұл криптографиялық емес қолданбалар үшін жоғары сапалы псевдокездейсоқ тізбектер деңгейіне сәйкес келеді. Сонымен қатар, модель архитектурасының детерминирленген сипатына байланысты әлсіз, бірақ статистикалық мәнді периодтық компоненттердің сақталатыны анықталды. Алынған нәтижелер LLM-дерді модельдеу, деректер синтезі және алгоритмдерді тестілеу салаларында қолданудың шекараларын айқындайды.