Conversation

Notices

  1. Remote profile options...
    akionux akionux

    https://status.akionux.net/url/991981
    量子化技術の進歩がすごいらしい。
    同じメモリ容量でも大きいパラメータのモデルを強く量子化したほうが強いらしい。
    100Bモデルが24GBに入る時代も近いと。これは未来きてるな。

    Friday, 09-Jun-23 03:18:55 UTC from status.akionux.net
    1. Remote profile options...
      akionux akionux

      @akionux 量子化技術よくわかってないんだけど今ソフトウェア的にやってて、ハードウェア実装が出てきたら超つよモデルがかなり手軽になりそう。

      Friday, 09-Jun-23 03:21:56 UTC from status.akionux.net