HOT ! P40 24Gカスタムファン付/40b以下LLM動作確認済/ローカルLLM最適 NVIDIA P40とWindows 11非対応のPCでLLMする (備忘録) #AI - Qiita

NVIDIA P40とWindows 11非対応のPCでLLMする (備忘録) #AI - Qiita。006_l.png。001.png。ご覧いただきありがとうございます。この度、V100水冷コンピューティングドックへのシステム移行に伴い、これまでメイン機で愛用していた調教済みの Tesla P40 を数枚出品いたします。個人でローカルLLMを動かしたい方、コスパ良く大容量VRAMを確保したい方に最適なセットです。【実測パフォーマンス（GGUF形式 / 8bit精度）】Qwen 2.5 32b クラス： 10〜13 tps（実用的な読解スピード）Gemma 3 12B クラス： 30 tps 前後（瞬時に回答が生成されます）2枚差し運用： 70Bクラスの大型モデルも3〜5 tpsで動作可能です。1. 使用していない専用の「高圧デュアルファンユニット」を付で発送します。温度目安（室温21℃）：Turbo（4500回転）：待機時38℃ / 演算時50℃前後Full（6000回転）：さらに強力に冷却可能注意点：ファンはマザーボード経由での制御を推奨します。ケースファン等は付属のSATA/大4ピン変換アダプタへ逃がしてください（ご希望の変換タイプを取引メッセージでお知らせください）。2. 電源供給について本カードの端子は CPU 8ピン（EPS） です。一般的な電源のPCIe 8ピンから変換できる「専用変換ケーブル」を同封します。予備のCPU電源端子がある場合は、ファンユニットを外して直挿しも可能です。3. ECC機能とVRAM表示ストレージ占有型ECCのため、OS上の認識は 22.5GB となりますが、仕様通り24GBの物理メモリをフル活用しています。4. 映像出力について計算専用カードのため映像出力端子はありません。CPUの内蔵グラフィックス（iGPU）または別のビデオカードと併用してください。【BIOS設定のポイント】導入時、マザーボードのBIOSで以下の設定を必ずご確認ください。Above 4G Decoding： 「Enabled（有効）」Re-Size BAR Support： 「Enabled（有効）」CSM Support： 「Disabled（無効 / UEFIモード）」※これを設定しないとWindowsで認識されない場合があります。推奨電源：650W以上。自社サーバーでのLLMに挑戦！ローカルLLM＋RAG環境を構築してみた。グラフィックボード・グラボ・ビデオカード GeForce RTX 3060 Ti EAGLE OC D6X 8G。GTX1650 4GB GIGABYTE 動作品　補助電源不要。［ジャンク品］MSI RTX 4070 Ti Super。新品RTX5060 ASUS DUAL 8G AI ゲーミング DDR7 正規品。グラフィックボード・グラボ・ビデオカード MSI GeForce RTX 4060 Ti 8G。【未開封】GALAX GEFORCE RTX 5070 本体。Gainward RTX3060 12Gジャンク品。グラフィックボード・グラボ・ビデオカード ZOTAC GeForce RTX3070Ti Trinity OC。C*r様 ZOTAC GEFORCE RTX 2080。【動作確認済】Gainward RTX 4090 Phantom 24GB。【訳あり】ASRock Radeon RX 6600 Challenger8GB。【2台セット】ASRock RadeonRX6600 Challenger8GB。グラフィックボード・グラボ・ビデオカード ASUS ROG STRIX GeForce RTX 2060 Super。グラフィックボード・グラボ・ビデオカード MSI GeForce RTX 3060 VENTUS 2X