token
---用于python解析树的常量¶
源代码: Lib/token.py
此模块提供常量,表示解析树(终端标记)叶节点的数值。参考文件 Grammar/Tokens
在python发行版中为定义名称提供了上下文中的语言语法。名称映射到的特定数值可能在Python版本之间发生更改。
模块还提供从数字代码到名称和某些函数的映射。函数镜像python c头文件中的定义。
- token.tok_name¶
字典将此模块中定义的常量的数值映射回名称字符串,从而允许生成更具人类可读性的解析树表示。
- token.ISTERMINAL(x)¶
返回
True
对于终端令牌值。
- token.ISNONTERMINAL(x)¶
返回
True
对于非终端令牌值。
- token.ISEOF(x)¶
返回
True
如果 x 表示输入结束的标记。
令牌常量是:
- token.ENDMARKER¶
- token.NAME¶
- token.NUMBER¶
- token.STRING¶
- token.NEWLINE¶
- token.INDENT¶
- token.DEDENT¶
- token.LPAR¶
令牌值
"("
.
- token.RPAR¶
令牌值
")"
.
- token.LSQB¶
令牌值
"["
.
- token.RSQB¶
令牌值
"]"
.
- token.COLON¶
令牌值
":"
.
- token.COMMA¶
令牌值
","
.
- token.SEMI¶
令牌值
";"
.
- token.PLUS¶
令牌值
"+"
.
- token.MINUS¶
令牌值
"-"
.
- token.STAR¶
令牌值
"*"
.
- token.SLASH¶
令牌值
"/"
.
- token.VBAR¶
令牌值
"|"
.
- token.AMPER¶
令牌值
"&"
.
- token.LESS¶
令牌值
"<"
.
- token.GREATER¶
令牌值
">"
.
- token.EQUAL¶
令牌值
"="
.
- token.DOT¶
令牌值
"."
.
- token.PERCENT¶
令牌值
"%"
.
- token.LBRACE¶
令牌值
"{{"
.
- token.RBRACE¶
令牌值
"}}"
.
- token.EQEQUAL¶
令牌值
"=="
.
- token.NOTEQUAL¶
令牌值
"!="
.
- token.LESSEQUAL¶
令牌值
"<="
.
- token.GREATEREQUAL¶
令牌值
">="
.
- token.TILDE¶
令牌值
"~"
.
- token.CIRCUMFLEX¶
令牌值
"^"
.
- token.LEFTSHIFT¶
令牌值
"<<"
.
- token.RIGHTSHIFT¶
令牌值
">>"
.
- token.DOUBLESTAR¶
令牌值
"**"
.
- token.PLUSEQUAL¶
令牌值
"+="
.
- token.MINEQUAL¶
令牌值
"-="
.
- token.STAREQUAL¶
令牌值
"*="
.
- token.SLASHEQUAL¶
令牌值
"/="
.
- token.PERCENTEQUAL¶
令牌值
"%="
.
- token.AMPEREQUAL¶
令牌值
"&="
.
- token.VBAREQUAL¶
令牌值
"|="
.
- token.CIRCUMFLEXEQUAL¶
令牌值
"^="
.
- token.LEFTSHIFTEQUAL¶
令牌值
"<<="
.
- token.RIGHTSHIFTEQUAL¶
令牌值
">>="
.
- token.DOUBLESTAREQUAL¶
令牌值
"**="
.
- token.DOUBLESLASH¶
令牌值
"//"
.
- token.DOUBLESLASHEQUAL¶
令牌值
"//="
.
- token.AT¶
令牌值
"@"
.
- token.ATEQUAL¶
令牌值
"@="
.
- token.RARROW¶
令牌值
"->"
.
- token.ELLIPSIS¶
令牌值
"..."
.
- token.COLONEQUAL¶
令牌值
":="
.
- token.OP¶
- token.AWAIT¶
- token.ASYNC¶
- token.TYPE_IGNORE¶
- token.TYPE_COMMENT¶
- token.ERRORTOKEN¶
- token.N_TOKENS¶
- token.NT_OFFSET¶
C记号赋予器不使用以下记号类型值,但需要 tokenize
模块。
- token.COMMENT¶
用于指示注释的标记值。
- token.ENCODING¶
标记值,指示用于将源字节解码为文本的编码。返回的第一个令牌
tokenize.tokenize()
将永远是一个ENCODING
令牌。
- token.TYPE_COMMENT
表示类型注释已被识别的标记值。只有当
ast.parse()
调用type_comments=True
.
在 3.8 版更改: 补充 TYPE_COMMENT
, TYPE_IGNORE
, COLONEQUAL
. 补充 AWAIT
和 ASYNC
令牌返回(需要它们来支持分析旧的python版本 ast.parse()
具有 feature_version
设置为6或更低)。