Промпти стилів: приклади працюють краще за правила

Стильовий пресет переписує надиктований текст у потрібному тоні, наприклад офіційніше. Переписує мовна модель, і працює вона за письмовою інструкцією. Налаштовуючи цю інструкцію, ми дізналися те, чого не чекали: якщо сказати моделі, чого не робити, буде гірше.

Що йде не так

Інколи модель робить щось неприємне. Починає зі слів «Звісно, ось неформальний варіант:». Копіює ваш текст дослівно. Відкриває відповідь словом «Привіт». Природна реакція — дописати в інструкцію рядок: не починай зі вступу, не кажи «привіт».

Ми так і робили та міряли це чотири рази на трьох пресетах, на живому диктуванні. Щоразу додані заборони погіршували результат:

• Заборона на вступ «Sure, here’s…» опустила результат нижче за той, з якого ми починали.
• П’ять спроб поспіль заборонити привітання «Hey» провалилися.
• Правило без прикладу зменшило кількість чистих випадків із 19 до 7.

Наше припущення: модель чіпляється за самі ті слова, які їй веліли оминати, замість того щоб їх оминати.

Що працює

Готова пара: фраза на вході та відповідь, яку ми хочемо отримати. Два такі приклади дали на дванадцять виправлених фраз більше і лише одну, що стала гіршою.

Не кожен приклад допомагає. Приклади, вигадані з голови, дали невеликий приріст. Помітний приріст дало інше: ми брали конкретні фрази, на яких модель схибила в попередньому прогоні, і писали до кожної правильну відповідь. Виходить цикл: прогнати тест, вибрати фрази, що провалилися, перетворити їх на приклади, прогнати знову.

Ще одне, про що легко не знати. Дві найгірші звички, вступ і дослівне копіювання, проявляються лише на довгих текстах із кількома думками. На коротких фразах з одного речення їх майже не видно. Тест із коротких фраз скаже, що все добре.

Як ми оцінюємо

У нас є постійний набір фраз, поділений на дві половини. Налаштовуємо ми на одній половині. Друга лишається закритою до самого кінця, як іспит, щоб не підганяти промпт під фрази, які ми бачимо.

Кожна відповідь проходить прості перевірки без моделі: чи вціліли числа, чи залишилося питання питанням, чи не з’явилися чужі літери. Далі друга мовна модель працює суддею й відповідає на п’ять постійних запитань про кожен результат. Якщо змінити суддю, змінюються всі числа, тому кандидата та його вихідний варіант завжди оцінює той самий суддя.

Так ми скоротили інструкцію для ділового тону з 1699 до 1490 токенів, а оцінка судді зросла з 264 до 271 з 282. Промпт коротший, оцінка вища, і жодної нової заборони.