YoyaWiki

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• BitNet へ行く。
  • 1 (2024-07-11 (木) 21:18:22)

• https://www.microsoft.com/en-us/research/publication/bitnet-scaling-1-bit-transformers-for-large-language-models/
• https://arxiv.org/abs/2310.11453
  • https://arxiv.org/pdf/2310.11453.pdf

• https://github.com/microsoft/unilm/blob/master/bitnet/The-Era-of-1-bit-LLMs__Training_Tips_Code_FAQ.pdf

• https://github.com/kyegomez/BitNet
• https://github.com/shi3z/BitNet

1.58 Bits†

• BitNet/1.58

.†

• BitNet
  • https://qiita.com/fuyu_quant/items/fa4fc3930ddfd2ec6f16

    ※BitNetそのものを検証した記事ではなく，BitNetで使われているレイヤーを使った簡単なNNモデルを作成し検証しています．