Top > BitNet
TITLE:BitNet (Scaling 1-bit Transformers for Large Language Models) - https://www.microsoft.com/en-us/research/publication/bitnet-scaling-1-bit-transformers-for-large-language-models/ - https://arxiv.org/abs/2310.11453 -- https://arxiv.org/pdf/2310.11453.pdf - https://github.com/microsoft/unilm/blob/master/bitnet/The-Era-of-1-bit-LLMs__Training_Tips_Code_FAQ.pdf - https://github.com/kyegomez/BitNet - https://github.com/shi3z/BitNet *1.58 Bits [#t4c2ac80] - https://arxiv.org/abs/2402.17764 -- https://arxiv.org/pdf/2402.17764.pdf - [[BitNet/1.58]] - https://github.com/Beomi/BitNet-Transformers/ - https://github.com/frodo821/BitNet-Transformers > https://twitter.com/BoufrawFrodo2/status/1763435835935047789 オリジナルのBitNetを1.58bの論文に従って3値にするように修正しました - Microsoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へ -- https://gigazine.net/news/20240229-microsoft-1bit-llm/ - 1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も -- https://topics.smt.docomo.ne.jp/article/wirelesswire/business/wirelesswire-20240286094? - https://twitter.com/andrew_n_carr/status/1770487200234213758?s=12 > 1.58 bit code is out (in an appendix) https://github.com/microsoft/unilm/blob/master/bitnet/The-Era-of-1-bit-LLMs__Training_Tips_Code_FAQ.pdf https://pbs.twimg.com/media/GJIIs1ZbcAA7hzM?format=jpg&name=small#.jpg *. [#z7c55994] - BitNet -- https://qiita.com/fuyu_quant/items/fa4fc3930ddfd2ec6f16 > ※BitNetそのものを検証した記事ではなく,BitNetで使われているレイヤーを使った簡単なNNモデルを作成し検証しています. |