今ローカルLLMがアツいよな。DRAMをVRAMのように使えるようになってから革命きたわ
1：名無しさんID:ID:WfjruuAV0
[2026/04/09(木) 22:28:19.96]
Radeon 780M搭載のAPUバカ売れするだろこれ
https://greta.5ch.net/test/read.cgi/poverty/
2：名無しさんID:ID:Ia2e7TyB0
[2026/04/09(木) 22:30:50.33]
Unified Memoryええな
4：名無しさんID:ID:uZY7uxe0d
[2026/04/09(木) 22:32:45.12]
メモリ圧縮1/6ってもう使えんの？
32：名無しさんID:ID:4qMA1zIF0
[2026/04/09(木) 23:13:16.78]
>>4
windows＋nvidia gpuで動くPyTorchで実装してる人は見た
他は知らん
ICLR 2026で論文発表だし活発になるのは今年後半じゃね
他は知らん
ICLR 2026で論文発表だし活発になるのは今年後半じゃね
46：名無しさんID:ID:fzvn+5Lj0
[2026/04/09(木) 23:57:04.17]
>>4
turboquantのことなら(今のところ)コンテクストのメモリ圧縮の話だから
必要なメモリ = モデルサイズ + 入出力長
で入出力長のとこにしか1/6は効かない。クラウドで動かしてるモデルがご家庭のGPUで！みたいな話ではない
より長い文章の入出力を小さい品質劣化でできるのはいいことなんだけど、誇大広告よ
必要なメモリ = モデルサイズ + 入出力長
で入出力長のとこにしか1/6は効かない。クラウドで動かしてるモデルがご家庭のGPUで！みたいな話ではない
より長い文章の入出力を小さい品質劣化でできるのはいいことなんだけど、誇大広告よ
50：名無しさんID:ID:WLKte8liH
[2026/04/10(金) 00:08:18.43]
>>46
量子とかつけちゃってて凄そうだけど実際の量子化ビットの論文見たら水を薄めるみたいな低レベルな論文内容笑ったわw
AIで書いてんじゃねえのって思うくらい
AIで書いてんじゃねえのって思うくらい
53：名無しさんID:ID:MgYpcQr10
[2026/04/10(金) 00:20:13.44]
>>50
“量子化"ってのは情報を小さい離散値に丸めるって技術用語だから何もおかしくないぞ。 量子コンピュータとかの量子とは別の話
例えば現実の無限階調の色彩を 8 bit 256 色の情報に丸める、というファミコンレベルの話であっても量子化
今回のは元々16bitで扱ってたデータを上手に処理したら3bitくらいの情報量に落としてしまっても大した誤差は生じなさそうだよ、ってやつ
例えば現実の無限階調の色彩を 8 bit 256 色の情報に丸める、というファミコンレベルの話であっても量子化
今回のは元々16bitで扱ってたデータを上手に処理したら3bitくらいの情報量に落としてしまっても大した誤差は生じなさそうだよ、ってやつ
55：名無しさんID:ID:WLKte8liH
[2026/04/10(金) 00:27:34.93]
>>53
そうだけどやってることは量子力学だよ
量子力学はおおよそ統一場理論で古典的物理学を土台においた完全シュミレーションの理論
今のAI(nlp)は数学に基づいて量子力学および理論を創り上げようと必死に性能と質をあげてる
まあ無理
量子は量子力学っていう科学で使う最小単位のことで間違いはないはず
量子力学はおおよそ統一場理論で古典的物理学を土台においた完全シュミレーションの理論
今のAI(nlp)は数学に基づいて量子力学および理論を創り上げようと必死に性能と質をあげてる
まあ無理
量子は量子力学っていう科学で使う最小単位のことで間違いはないはず
64：名無しさんID:ID:dekMUl1d0
[2026/04/10(金) 01:37:21.85]
>>55
一体何を言っているんだ…
量子の語源については知らんけど、量子力学のあるいは量子コンピュータの量子と、今の生成AIには何の関係もないぞ
量子の概念を利用した計算機も研究されちゃいるけど実用的かはまだまだ不明で、実用されるにしてもハード面ソフト面の研究が必要で数十年は先の話なる
量子の語源については知らんけど、量子力学のあるいは量子コンピュータの量子と、今の生成AIには何の関係もないぞ
量子の概念を利用した計算機も研究されちゃいるけど実用的かはまだまだ不明で、実用されるにしてもハード面ソフト面の研究が必要で数十年は先の話なる
5：名無しさんID:ID:nkDOB76V0
[2026/04/09(木) 22:33:05.78]
ryzenのAI MAXみたいなやつには頑張ってもらいたい
6：名無しさんID:ID:ZEoExzWW0
[2026/04/09(木) 22:33:28.76]
サルにもわかるように解説して
28：名無しさんID:ID:G8EI8/1l0
[2026/04/09(木) 23:05:56.19]
>>6
今までのAPUではCPUとGPUが同じメインメモリを使っていても物理的に共有できなくて同じデータを使えずにCPUとGPU間でコピーしなくてはならないとかロスが大きくそこで大きな時間がかかっていた。
ここでAMDのStrix Haloなどの新APUはユニファイドメモリというCPUとGPUで全く同じメモリ空間で同じデータを扱えるということができるようになって様々なロスがなくなったので圧倒的に速くなった
ここでAMDのStrix Haloなどの新APUはユニファイドメモリというCPUとGPUで全く同じメモリ空間で同じデータを扱えるということができるようになって様々なロスがなくなったので圧倒的に速くなった
60：名無しさんID:ID:bim2ew5+0
[2026/04/10(金) 00:38:28.82]
>>6
今までは食べた食材を口から肛門までに処理してウンコを出してたが、口の中だけで全処理完了して口からウンコ出せるようになった。
93：名無しさんID:ID:mCcQ/TEs0
[2026/04/10(金) 06:42:27.14]
>>6
大丈夫、数学的な仕組みなんか
ここのパソコン大先生はだれもわからんし
理解もできない
ここのパソコン大先生はだれもわからんし
理解もできない
7：名無しさんID:ID:qTcJI8PJ0
[2026/04/09(木) 22:34:50.17]
前から遅くなるけど普通のメモリ使えなかったのか？
13：名無しさんID:ID:Ia2e7TyB0
[2026/04/09(木) 22:43:10.33]
>>7
あれはプログラム側で頑張ってガムテープでVRAMとRAMを貼りつけてたんだけど
これの場合は単にでかいVRAM用のプログラムを書けばOKでらくちん
これの場合は単にでかいVRAM用のプログラムを書けばOKでらくちん
ただしWindowsでのAMD GPUサポート（Windows用のドライバとROCmと関連ライブラリの現状）はまだかなり地獄なんで
主にLinuxユーザー向けか冒険者向けと思ったほうがいい
まあいずれ改善はされるはず
33：名無しさんID:ID:qTcJI8PJ0
[2026/04/09(木) 23:15:21.11]
>>13
ありがとう
8：名無しさんID:ID:0GFtsNNZ0
[2026/04/09(木) 22:35:38.81]
CPUで動かすんじゃないの？
9：名無しさんID:ID:CxA0P8vmH
[2026/04/09(木) 22:35:43.94]
画像解析のレベルも上がって来た
![今ローカルLLMがアツいよな。DRAMをVRAMのように使えるようになってから革命きたわ [468391367]
_9_9](https://anime-news.net/wp-content/uploads/2026/05/temp_9.png)
15：名無しさんID:ID:knXEyts50
[2026/04/09(木) 22:45:36.74]
>>9
画像見せてセリフも生成できたりするの？
36：名無しさんID:ID:W3C7/mK6H
[2026/04/09(木) 23:22:06.04]
>>15
>>17
>>30
うん
>>17
hereticって付いてるモデルでいいよ
>>30
civitaiで拾った
17：名無しさんID:ID:wa8WQab80
[2026/04/09(木) 22:47:05.46]
>>9
gemmaはいいのか
qwenだとエロい画像見せたらこんなのダメって言われた
qwenだとエロい画像見せたらこんなのダメって言われた
18：名無しさんID:ID:Ia2e7TyB0
[2026/04/09(木) 22:48:13.42]
>>17
Hereticとかまあ色々良心回路をアレする方法はあるので
54：名無しさんID:ID:z6AXkklB0
[2026/04/10(金) 00:23:11.64]
>>18
,19,36
サンキュウ
qwenのhereticっていうのを入れてみたら怒られなくなったわ
サンキュウ
qwenのhereticっていうのを入れてみたら怒られなくなったわ
19：名無しさんID:ID:YMjiku7a0
[2026/04/09(木) 22:48:17.13]
>>17
qwen無修正なら
30：名無しさんID:ID:ERV9LHFfr
[2026/04/09(木) 23:09:06.53]
>>9
読み込ませてる画像の詳細教えて
59：名無しさんID:ID:N7gdq2Sl0
[2026/04/10(金) 00:34:27.58]
>>9
これ何のソフトで動かしてる？
koboldcpp だとうまく行かないんだよな
koboldcpp だとうまく行かないんだよな
82：名無しさんID:ID:+h5F3/zG0
[2026/04/10(金) 02:19:48.65]
>>59
LMStudio
97：名無しさんID:ID:N7gdq2Sl0
[2026/04/10(金) 09:39:08.14]
>>82
サンキュ
10：名無しさんID:ID:llnQu/Vd0
[2026/04/09(木) 22:36:54.59]
3060でもあと5年戦えるってこと？！
72GB相当になるってこと？！
72GB相当になるってこと？！
11：名無しさんID:ID:7GepLOoVH
[2026/04/09(木) 22:38:52.36]
中国にアメリカ産グラボ盗まれたとかいう話どうなっんだww
12：名無しさんID:ID:xBttmQRt0
[2026/04/09(木) 22:41:26.18]
それ遅くて話にならんやつ
14：名無しさんID:ID:WBrHLC370
[2026/04/09(木) 22:44:34.63]
DRAM32GBしかないけど増設したほうがいいのか？
16：名無しさんID:ID:59Ox/jL/0
[2026/04/09(木) 22:45:45.52]
GreenBoostだっけ？
でもあれLinuxでしか使えないんだよな
でもあれLinuxでしか使えないんだよな
20：名無しさんID:ID:gK7RmxGV0
[2026/04/09(木) 22:50:19.28]
それよりNPU使ってくれないかな
22：名無しさんID:ID:WBrHLC370
[2026/04/09(木) 22:51:42.63]
>>20
AI用のコアなのにAIに使えないって変だよな
49：名無しさんID:ID:aqnl6WP+0
[2026/04/10(金) 00:08:01.76]
>>22
AIモデルが対応してるNPUはXDNA2からのようだ
8700GのNPUは初期型のXDNA1でLLM向けの機能が足りてないんだと
8700GのNPUは初期型のXDNA1でLLM向けの機能が足りてないんだと
26：名無しさんID:ID:1CW8rmYO0
[2026/04/09(木) 23:00:50.34]
>>20
簡単なものにはつかってるやろ
21：名無しさんID:ID:ta7Wa+jfH
[2026/04/09(木) 22:50:59.32]
ワイもやる！
23：名無しさんID:ID:HB1HvXTk0
[2026/04/09(木) 22:55:23.21]
ローカルで何すればいいの？
何が面白い？
何がおすすめ？
何が面白い？
何がおすすめ？
27：名無しさんID:ID:7cPKvM5d0
[2026/04/09(木) 23:05:25.24]
>>23
まずはComfyUIという色々なAIをノード接続のワークフローで動かせる環境みたいなのオススメ。
こいつを動かせば、標準のテンプレートのワークフローに、画像、動画、音楽など色々な種類のAI使えるのがある。
画像はZ-image turboやAnima
動画はWan2.2やLTX2.3
音楽はACE-step1.5
あたりがオススメ
こいつを動かせば、標準のテンプレートのワークフローに、画像、動画、音楽など色々な種類のAI使えるのがある。
画像はZ-image turboやAnima
動画はWan2.2やLTX2.3
音楽はACE-step1.5
あたりがオススメ
25：名無しさんID:ID:Pnbd9eRZ0
[2026/04/09(木) 23:00:49.21]
おもちゃだからコレ
使えない
使えない
31：名無しさんID:ID:7cPKvM5d0
[2026/04/09(木) 23:10:54.71]
ComfyUI程度の環境、ツールを（ChatGPTとかに相談しながらでも）使えるぐらいでないとローカルはオススメしない。
そこらへん頑張れそうの無いならサーバーサービス型のAI使った方が良さそう
そこらへん頑張れそうの無いならサーバーサービス型のAI使った方が良さそう
34：名無しさんID:ID:6thJ1LrzH
[2026/04/09(木) 23:17:23.57]
ローカルLLMで使い放題だと思ってエージェントをセットアップしたけど特にやらせたい事は無かった
ゲーム中に常時画面チャプチャして話しかけてくるボットでも作った方が捗りそう
ゲーム中に常時画面チャプチャして話しかけてくるボットでも作った方が捗りそう
35：名無しさんID:ID:xN1HNbgKH
[2026/04/09(木) 23:18:54.19]
1年くらい前にComfyUIで遊んでたな
一ヶ月も経たないうちに飽きたが
一ヶ月も経たないうちに飽きたが
37：名無しさんID:ID:FUPppMtG0
[2026/04/09(木) 23:23:31.34]
MacBook Neoで1ビットLLM「Bonsai 8B」
38：名無しさんID:ID:G9HrZ0+u0
[2026/04/09(木) 23:26:00.45]
32GBだと足りないから増設したいのに
高すぎて買う気になれない。
DDR4の16×2が3万円オーバーって3倍になってるやん。
高すぎて買う気になれない。
DDR4の16×2が3万円オーバーって3倍になってるやん。
39：名無しさんID:ID:2iQ+GqSj0
[2026/04/09(木) 23:28:33.19]
grokが昔みたいにできないから動画はローカルに回帰したな
40：名無しさんID:ID:W8kjFOXH0
[2026/04/09(木) 23:30:07.79]
SSDをスワップすりゃRAMなんてどうとでもなる
SSDはめちゃくちゃ速いし
SSDはめちゃくちゃ速いし
72：名無しさんID:ID:hyGaqoUA0
[2026/04/10(金) 02:01:12.27]
>>40
秒速で壊れるぞ
41：名無しさんID:ID:0QPgyka60
[2026/04/09(木) 23:30:28.24]
grokは画像生成は規制されてるけど、ローカル生成用のプロンプト教えてくれるから偉い
42：名無しさんID:ID:SulYPX8PH
[2026/04/09(木) 23:30:36.28]
5060tiでDDR4で64GBなんだけど使える？
やっぱりDDR5で128GBが必要？
やっぱりDDR5で128GBが必要？
45：名無しさんID:ID:WEpljvNy0
[2026/04/09(木) 23:54:02.22]
>>42
調整すれば gemma4 26b a4b も行けるぐらいの性能
47：名無しさんID:ID:SulYPX8PH
[2026/04/09(木) 23:57:37.13]
>>45
ありがとう
それを調べて試してみる
それを調べて試してみる
43：名無しさんID:ID:/wFN9xxB0
[2026/04/09(木) 23:37:02.22]
RyzenMax395でもgemma4 31Bをそのまま使うと遅い
M5 ultra出たら欲しいけどM3と同じなら96GBが最低なんだよなあ、で次が256GB
128GBでいいのに
ちょっとでも安く買いたい
M5 ultra出たら欲しいけどM3と同じなら96GBが最低なんだよなあ、で次が256GB
128GBでいいのに
ちょっとでも安く買いたい
48：名無しさんID:ID:WEpljvNy0
[2026/04/09(木) 23:58:39.92]
>>43
グラボも繋いで動かすとチャッピーとかと変わらんらしいけど
となるとMacはダメなのかな
ようわからん
となるとMacはダメなのかな
ようわからん
44：名無しさんID:ID:5vtY7wud0
[2026/04/09(木) 23:51:05.84]
言いたいのはユニファイドメモリがええよなって事だろ？
51：名無しさんID:ID:KMUPprHRH
[2026/04/10(金) 00:14:52.57]
project airiでAIとマインクラフトもやってみたいがセットアップが簡単になるまで待つわ
52：名無しさんID:ID:pPZOwSFn0
[2026/04/10(金) 00:17:00.75]
AIをローカルで使わせたくならからいきなりメモリの価格高騰させたんじゃね？
56：名無しさんID:ID:5e0ZP3/O0
[2026/04/10(金) 00:30:36.65]
NSFWのイラスト生成するだけならComfyUIよりSDの方が手っ取り早くて結局SDばっかり使ってしまう
でもComfyUIで可能性を広げたい
57：名無しさんID:ID:T7ic0uAp0
[2026/04/10(金) 00:30:56.77]
えっちなの出力するんですね？！
62：名無しさんID:ID:QrUJkahx0
[2026/04/10(金) 00:42:11.63]
>>57
どんどん解除されてくのでローカルではとくに心配をいらんみたい
58：名無しさんID:ID:GLMaJiC30
[2026/04/10(金) 00:33:36.72]
グラボ買わずにメモリ128Gにしたほうが良かったのか
61：名無しさんID:ID:EiMAOqL60
[2026/04/10(金) 00:40:25.92]
グラボは空冷ついてガンガン冷やしてるけど
メモリでやる場合は発熱どうなるの？
メモリでやる場合は発熱どうなるの？
63：名無しさんID:ID:F5Vb7pWj0
[2026/04/10(金) 00:59:16.59]
ComfyUIで使える無修正のモデルがあると聞いたんだがマジ？
65：名無しさんID:ID:AR4McbQJ0
[2026/04/10(金) 01:43:02.47]
VRAMとかそういうレベルの高速性がないと
バラメータ数が多いモデルだと遅い
バラメータ数が多いモデルだと遅い
68：名無しさんID:ID:rhEYHrEb0
[2026/04/10(金) 01:45:56.59]
ComfyUIインストールしたけどなんなんだよこれ。
初見殺しもいいとこだろ。
初見殺しもいいとこだろ。
70：名無しさんID:ID:ZyiYuxyD0
[2026/04/10(金) 01:55:33.42]
760mでvram割り当て24GBにしても元が貧弱だから遅かった
73：名無しさんID:ID:hyGaqoUA0
[2026/04/10(金) 02:04:21.74]
でもやる事はどうせエロ画像の生成と猥談なんだろ？🙄
30万たかくね？
30万たかくね？
75：名無しさんID:ID:rhEYHrEb0
[2026/04/10(金) 02:06:32.49]
オープンクローに仕事させたいが設定追い込めばなんとかなるんやろか。
しかし自分のPCで絵や音楽を作れると面白いな。
しかし自分のPCで絵や音楽を作れると面白いな。
77：名無しさんID:ID:Q/BuQ4CW0
[2026/04/10(金) 02:11:38.83]
ローカルは今はGemma4がいいぞ
エロ使い放題
エロ使い放題
78：名無しさんID:ID:BIbtHBk10
[2026/04/10(金) 02:12:30.50]
AIをローカルで動かしてどうすんだよ
ただの変態の遊びだろ
ただの変態の遊びだろ
80：名無しさんID:ID:jRsTt1cL0
[2026/04/10(金) 02:16:36.23]
ローカルで何するの
83：名無しさんID:ID:rhEYHrEb0
[2026/04/10(金) 02:20:46.32]
>>80
クラウドのAPIを使ってたらめちゃくちゃカネがかかるだろ。
オープンクローもそれでカネぼったくられるユーザー多い。
オープンクローもそれでカネぼったくられるユーザー多い。
91：名無しさんID:ID:ZJFbyvH/0
[2026/04/10(金) 03:36:12.19]
>>80
そりゃ恥ずかしいエロ小説やロールプレイチャットよ
Webサービスだとログ流出やBANされるリスクがある
古いモデルの奴だけど
Webサービスだとログ流出やBANされるリスクがある
古いモデルの奴だけど
99：名無しさんID:ID:KfwSAFB2H
[2026/04/10(金) 11:01:33.35]
>>91
これがケンモメンのコミュ力です
85：名無しさんID:ID:MdXK/HQg0
[2026/04/10(金) 02:26:43.10]
ローカルLLM全く追ってないんだけどDRAMをVRAMのように使えるようになったのっていつからなん？
たしか1年ちょいくらい前まではVRAM多くないと使い物にならないって話しか聞いたことなかった
たしか1年ちょいくらい前まではVRAM多くないと使い物にならないって話しか聞いたことなかった
98：名無しさんID:ID:kTx/sEOI0
[2026/04/10(金) 10:45:15.81]
Google
・Gemma 4 31B Dense
・Gemma 4 26B A4B MoE
・Gemma 4 E4B
・Gemma 4 E2B
・Gemma 4 31B Dense
・Gemma 4 26B A4B MoE
・Gemma 4 E4B
・Gemma 4 E2B
Alibaba
・Qwen3.5 397B-A17B MoE
・Qwen3.5 122B-A10B MoE
・Qwen3.5 35B-A3B MoE
・Qwen3.5 27B Dense
・Qwen3.5 9B Dense
・Qwen3.5 4B Dense
・Qwen3.5 2B Dense
・Qwen3.5 0.8B Dense
まあ好きなの使ってや