ONOFF
划词翻译
导航
建议反馈
词典App

tokenization中文是什么意思

  • [网络] 标记化;断词;符号化

"查查词典"手机版

千万人都在用的超大词汇词典翻译APP

  • 例句与用法
  • The language used for tokenization is specified at the column level, or can be identified within
    用于标记化的语言将在列级指定,或者也可以通过筛选器组件在
  • tokenization is important because it defines the units within the data that are compared to each other
    因为标记化在要进行比较的数据内定义相关单元,所以标记化是非常重要的操作。
  • If you are unsure, a general best bet is to use the neutral word breaker, which performs its tokenization purely on white space and punctuation
    如果您对此不能确定,常用的最好办法是使用非特定语言断字符,这种断字符只基于空格和标点进行标记化。
  • The transformation provides a default set of delimiters used to tokenize the data, but you can add new delimiters that improve the tokenization of your data
    该转换提供了一组用于标记化数据的默认分隔符,但您可以添加新的分隔符以改善您数据的标记化。
  • 推荐英语阅读
tokenization的中文翻译,tokenization是什么意思,怎么用汉语翻译tokenization,tokenization的中文意思,tokenization的中文tokenization in Chinesetokenization的中文tokenization怎么读,发音,例句,用法和解释由查查在线词典提供,版权所有违者必究。
Last modified time:Mon, 11 Aug 2025 00:29:56 GMT

说出您的建议或使用心得