每字符/词比特数

这部分内容有帮助吗？

参考文献

Elements of Information Theory, Thomas M. Cover and Joy A. Thomas, 2006 (Wiley-Interscience) - 一本经典教科书，提供了信息论的数学基础，包括熵、交叉熵和比特作为信息内容度量的概念。
Speech and Language Processing, Daniel Jurafsky and James H. Martin, 2025 - 一本权威的自然语言处理教科书，详细涵盖了语言建模、困惑度和各种评估指标。
Exploring the Limits of Language Modeling, Rafał Jozefowicz, Oriol Vinyals, Samy Bengio, Mohammad Norouzi, 2016 Proceedings of the 33rd International Conference on Machine Learning DOI: 10.5555/3045390.3045437 - 本文研究了大规模语言模型的性能，并使用每字符比特（BPC）作为评估和比较模型的关键指标。
Neural Machine Translation of Rare Words with Subword Units, Rico Sennrich, Barry Haddow, Alexandra Birch, 2016 Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (Association for Computational Linguistics) DOI: 10.18653/v1/P16-1162 - 引入了字节对编码（BPE），一种广泛使用的子词分词方法，阐明了需要BPC等指标来公平比较使用不同分词方案的模型。