Pygments, типы токенов

Основная идея подсветки кода, как это реализовано в Pygments, заключается в том, что исходный текст сначала разбивается на небольшие фрагменты — токены, а каждому токену присваивается тип токена, который определяет его семантическую роль в коде (например, ключевое слово, строка или комментарий).

Тип токена затем используется для определения того, как этот фрагмент кода должен быть стилизован (например, "красный и жирный" для ключевых слов). В Pygments используется иерархическая система типов токенов, где каждый тип является подтипом более общего. Основные (глобальные) типы токенов и их подтипы включают: Основные типы токенов Pygments Общий тип токена (Parent Token) Примеры подтипов и их назначение Token.Keyword (Ключевое слово) Ключевые слова языка программирования.

- Keyword.Builtin `(Встроенное ключевое слово)`
- Keyword.Control `(Управляющая конструкция, напр., if, for)`
- Keyword.Type `(Ключевое слово типа, напр., class, def)`

Token.Name (Имя) Идентификаторы, переменные, имена функций.

- Name.Function `(Имя функции)`
- Name.Variable `(Имя переменной)`
- Name.Class `(Имя класса)`

Token.Literal (Литерал) Постоянные значения в коде.

- Literal.String `(Строковый литерал, напр., "Hello")`
- Literal.Number `(Числовой литерал)`
- Literal.Number.Integer `(Целое число)`
- Literal.Number.Float `(Число с плавающей запятой)`

Token.Comment (Комментарий) Блоки комментариев в коде.

- Comment.Single `(Однострочный комментарий)`
- Comment.Multi `(Многострочный комментарий)`
- Comment.Doc `(Документирующий комментарий)`

Token.Operator (Оператор) Символы, выполняющие операции (напр., +, -, *, ==). Token.Punctuation (Пунктуация) Разделители и знаки препинания (напр., [, (, ,, ;). Token.Text (Текст) Любые текстовые данные, не соответствующие другим токенам.

- Text.Whitespace `(Пробелы)`

Token.Generic (Общий) Используется для разметки специального контента, например, в выводе терминала.

- Generic.Heading `(Заголовок)`
- Generic.Error `(Сообщение об ошибке)`

Token.Error (Ошибка) Токен, представляющий синтаксическую ошибку, обнаруженную лексером. Token.Other (Прочее) Специальные токены для данных, не соответствующих парсеру (напр., HTML-разметка внутри PHP-кода).