Skip to main content Skip to sub menu Skip to navigator
Top

BitNet (Scaling 1-bit Transformers for Large Language Models)

Top/BitNet
編集|検索|ログイン

BitNet | Microsoft

  • https://www.microsoft.com/en-us/research/publication/bitnet-scaling-1-bit-transformers-for-large-language-models/
  • https://arxiv.org/abs/2310.11453
    • https://arxiv.org/pdf/2310.11453.pdf
  • https://github.com/microsoft/unilm/blob/master/bitnet/The-Era-of-1-bit-LLMs__Training_Tips_Code_FAQ.pdf

実装†

  • https://github.com/microsoft/BitNet
  • https://github.com/kyegomez/BitNet
  • https://github.com/shi3z/BitNet
↑

1.58 Bits†

  • BitNet/1.58
↑

.†

  • BitNet
    • https://qiita.com/fuyu_quant/items/fa4fc3930ddfd2ec6f16

      ※BitNetそのものを検証した記事ではなく,BitNetで使われているレイヤーを使った簡単なNNモデルを作成し検証しています.

Link: Microsoft AI BitNet/1.58
GitHub | Qiita | awm-Tech
SpeakerDeck | Docswell
BlueSky | Twitter (likes)
Facebook | はてブロ (admin)
よや日記(log)
<< 2025.7 >>
日 月 火 水 木 金 土
    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31

Yahoo!天気 | 地震
天気JP 地震
Yahoo!路線 | Excite辞書
黄砂

よやアプリ | よやツール

最新の20件
2025-07-10
  • LuaRocks
  • Lua
  • Windower/Lua
2025-07-09
  • Emacs
  • GNU/ELPA
2025-07-08
  • Windower/Lua/Packet
  • Windower/Addons
2025-07-07
  • Tensor
  • Togetter
  • Twilog
2025-07-06
  • 2025-07-06
2025-07-05
  • AV1
  • Windower/Lua/File
  • Windower/Lua/Quest
  • Windower/Plugins
2025-07-04
  • Map
2025-07-03
  • TypeGPU
  • WebGPU
  • PHP7
  • Rust/Command

Menu編集
Wiki管理メモ

編集|添付|差分|凍結|名前変更|新規|一覧|検索|ログイン