Conversation
Notices
-
https://status.akionux.net/url/991981
量子化技術の進歩がすごいらしい。
同じメモリ容量でも大きいパラメータのモデルを強く量子化したほうが強いらしい。
100Bモデルが24GBに入る時代も近いと。これは未来きてるな。-
@akionux 量子化技術よくわかってないんだけど今ソフトウェア的にやってて、ハードウェア実装が出てきたら超つよモデルがかなり手軽になりそう。
-
https://status.akionux.net/url/991981
量子化技術の進歩がすごいらしい。
同じメモリ容量でも大きいパラメータのモデルを強く量子化したほうが強いらしい。
100Bモデルが24GBに入る時代も近いと。これは未来きてるな。
@akionux 量子化技術よくわかってないんだけど今ソフトウェア的にやってて、ハードウェア実装が出てきたら超つよモデルがかなり手軽になりそう。