Языковые модели не программируются вручную — их обучают на огромных массивах данных. В процессе обучения они самостоятельно вырабатывают стратегии решения задач. Эти стратегии закодированы в миллиардах операций, которые модель выполняет для каждого генерируемого слова. Даже разработчики моделей не могут полностью понять эти механизмы. Выходит, мы не знаем, как именно модели выполняют большинство своих функций. Но для многих задач критически важно понимать, как принимается то или иное решение. Для этого нужно уметь анализировать «чёрные ящики»