Основная идея подсветки кода, как это реализовано в Pygments, заключается в том, что исходный текст сначала разбивается на небольшие фрагменты — токены, а каждому токену присваивается тип токена, который определяет его семантическую роль в коде (например, ключевое слово, строка или комментарий).

Тип токена затем используется для определения того, как этот фрагмент кода должен быть стилизован (например, "красный и жирный" для ключевых слов).

В Pygments используется иерархическая система типов токенов, где каждый тип является подтипом более общего. Основные (глобальные) типы токенов и их подтипы включают:

Основные типы токенов Pygments

Общий тип токена (Parent Token) Примеры подтипов и их назначение

Token.Keyword `(Ключевое слово) Ключевые слова языка программирования.`

- Keyword.Builtin `(Встроенное ключевое слово)`

- Keyword.Control `(Управляющая конструкция, напр., if, for)`

- Keyword.Type `(Ключевое слово типа, напр., class, def)`

Token.Name (Имя) `Идентификаторы, переменные, имена функций.`

- Name.Function `(Имя функции)`

- Name.Variable `(Имя переменной)`

- Name.Class `(Имя класса)`

Token.Literal `(Литерал) Постоянные значения в коде.`

- Literal.String `(Строковый литерал, напр., "Hello")`

- Literal.Number `(Числовой литерал)`

- Literal.Number.Integer `(Целое число)`

- Literal.Number.Float `(Число с плавающей запятой)`

Token.Comment `(Комментарий) Блоки комментариев в коде.`

- Comment.Single `(Однострочный комментарий)`

- Comment.Multi `(Многострочный комментарий)`

- Comment.Doc `(Документирующий комментарий)`

Token.Operator (Оператор) `Символы, выполняющие операции (напр., +, -, *, ==).`

Token.Punctuation (Пунктуация) `Разделители и знаки препинания (напр., [, (, ,, ;).`

Token.Text (Текст) `Любые текстовые данные, не соответствующие другим токенам.`

- Text.Whitespace `(Пробелы)`

Token.Generic (Общий) `Используется для разметки специального контента, например, в выводе терминала.`

- Generic.Heading `(Заголовок)`

- Generic.Error `(Сообщение об ошибке)`

Token.Error (Ошибка) `Токен, представляющий синтаксическую ошибку, обнаруженную лексером.`

Token.Other (Прочее) `Специальные токены для данных, не соответствующих парсеру (напр., HTML-разметка внутри PHP-кода).`