Backup diff of
BitNet
vs current(No. 4)
Front page
Search
Recent changes
巡回
動画
Google
リンク
Help
Front page
New
Source
Recent changes
Referer
Search Key List
Link List
Impress Watch
その他の巡回
ニコニコ動画
YouTube
Google検索
Google地図
Google乗り換え
Googleニュース
pukiwiki-official
pukiwiki-dev
Wikiの書き方(整形ルール)
プラグインヘルプ
各種ドキュメント
Backup list
View the
diff
.
View the
diff current
.
View the
source
.
View the
backup
.
Go to
BitNet
.
https://www.microsoft.com/en-us/research/publication/bitnet-scaling-1-bit-transformers-for-large-language-models/
https://arxiv.org/abs/2310.11453
https://arxiv.org/pdf/2310.11453.pdf
https://github.com/microsoft/unilm/blob/master/bitnet/The-Era-of-1-bit-LLMs__Training_Tips_Code_FAQ.pdf
https://github.com/kyegomez/BitNet
https://github.com/shi3z/BitNet
1.58 Bits
https://arxiv.org/abs/2402.17764
https://arxiv.org/pdf/2402.17764.pdf
BitNet/1.58
https://github.com/Beomi/BitNet-Transformers/
Microsoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へ
https://gigazine.net/news/20240229-microsoft-1bit-llm/
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
https://topics.smt.docomo.ne.jp/article/wirelesswire/business/wirelesswire-20240286094?fm=latestnews
.
BitNet
https://qiita.com/fuyu_quant/items/fa4fc3930ddfd2ec6f16
※BitNetそのものを検証した記事ではなく,BitNetで使われているレイヤーを使った簡単なNNモデルを作成し検証しています.