tokenize中文什么意思

例句与用法

1. module to tokenize the schema, but gave up on using
   模块来标记模式，但没有使用
2. specify the delimiters that the transformation uses to tokenize column values
   指定转换用来标记列值的分隔符。
3. the transformation provides a default set of delimiters used to tokenize the data, but you can add token delimiters to suit the needs of your data
   该转换提供了一组用于标记化数据的默认分隔符，但您可以添加适合自己数据需要的标记分隔符。
4. the transformation provides a default set of delimiters used to tokenize the data, but you can add new delimiters that improve the tokenization of your data
   该转换提供了一组用于标记化数据的默认分隔符，但您可以添加新的分隔符以改善您数据的标记化。
5. is similar to iterating over a text file, while the parse method to extract fields of text is similar to string manipulation methods used to tokenize delimited strings
   分析文本文件与循环访问文本文件相似，而提取文本字段的分析方法则与将分隔字符串标记化所使用的字符串操作方法相似。