🌍 English | TÃŒrkçe | العرؚية | 日本語 | äž­æ–‡

Soup

Soup

コマンド䞀぀で、LLM のファむンチュヌニングずポストトレヌニングを。SSH も、蚭定地獄も䞍芁です。

りェブサむト · クむックスタヌト · Web UI · 蚭定 · ドキュメント · コマンド · モデル · Discord · Telegram · Product Hunt

PyPI ダりンロヌド数 Python 3.11-3.13 Apache-2.0 ラむセンス テスト CI りェブサむト Discord Telegram DOI: 10.5281/zenodo.21771064

Soup CLI - 4 GB のノヌト PC 甹 GPU で 8B の LLM をファむンチュヌニング | Product Hunt MakazhanAlpamys/Soup | Trendshift

--- Soup は、LLM のファむンチュヌニングの面倒をシンプルなワヌクフロヌに倉えたす。蚭定ファむルは䞀぀、コマンドも䞀぀。それだけです。 ```bash pip install "soup-cli[train]" # ファむンチュヌニングには [train] を远加したす。玠の soup-cli は軜量な CLI です soup init --template chat soup train ``` **4 GB のノヌト PC 甹 GPU で、8B モデルをファむンチュヌニングできたす。** レむダヌストリヌミングは、凍結したベヌスモデルを VRAM の倖に眮き、デコヌダヌ局を䞀局ず぀ GPU に送り蟌みたす。RTX 3050 Laptop 4 GB での実枬倀: Llama-3.1-8B-Instruct + NF4 で **952 MHz 時に 119.6 tok/s、ピヌク 3.32 GB**修正前— 党䜓をメモリに垞駐させた通垞の実行ずビット単䜍で 完党に䞀臎し、H100 でも同じ 3.32 GB で 113.00 tok/s ず独立に再珟されたした。 どちらの数倀も v0.72.2 で、v0.73.0 の正確性修正32B で −4.8% のコストより前に枬定したものです。 修正埌の実行は、別の RTX 3050 Laptop 4 GB@umran666、#1103で **1935–1957 MHz 時に 208.6 tok/s、ピヌク 2.40 GB** でした。これは同䞀セッションでの GEMM 䞊限の 59% にあたり、 修正前の 68% に察しお、クロックあたりでは玄 14% 遅いこずになりたす。぀たり、芋かけの 1.74x の向䞊は高速化ではなく クロックの差です。倧きなレむダヌのストリヌミングによっお䞡行のあいだでメモリの䜿われ方も倉わっおいるため、この割合でさえ 同じ条件での比范ではありたせん — [蚘録](benchmarks/gate-v0.72.2-nf4.md)。オプトむン方匏`stream_layers: true`で、 ただ BETA です — [仕組み](docs/performance-and-quantization.md#layer-streaming-beta-v0720-nf4-v0722-disk--wider-archs-v0723-preference-losses-v0724) · [すべおの枬定結果](benchmarks/) · [論文](https://doi.org/10.5281/zenodo.21771064) · **[無料の Colab T4 で自分で確かめる](notebooks/proof-4gb.ipynb)**プロセスを 4 GB に制限した䞊で、 ストリヌミングしたモデルが通垞のモデルずビット単䜍で同䞀であるこずを怜蚌したす

4 GB のカヌドでの Llama-3.1-8B 向け soup train の事前チェック: 32 局にわたっお RAM 䞊に固定された 3.60 GB のベヌスストアず、113 MB の VRAM バッファ 2 ぀。その埌、119.6 tok/s で枬定されたピヌクは 3.32 GB で、4 GB のラむンの手前に収たっおいたす修正前の行。v0.72.2、952 MHz で枬定。#331 修正埌の行は䞋のキャプションを参照
Llama-3.1-8B-Instruct + NF4、LoRA、バッチサむズ 1、シヌケンス長 512、RTX 3050 Laptop 4 GB — ピヌク 3.32 GB、119.6 tok/s、952 MHz 時修正前、v0.72.2。#331 修正埌: 1935 MHz 時に 208.6 tok/s、2.40 GB。盎接の比范はできたせん。@umran666、#1103。 動画90 秒

## なぜSoupなのか LLM の孊習は、今でも骚の折れる䜜業です。経隓豊富なチヌムでさえ、時間の 30〜50% を、モデルの改善ではなく むンフラずの栌闘に費やしおいたす。Soup はそれを解決したす。 - **SSH 䞍芁。** 故障した GPU マシンに二床ず SSH で入る必芁はありたせん。 - **蚭定は䞀぀。** 必芁なのはシンプルな YAML ファむルだけです。 - **すべお自動。** バッチサむズ、GPU の怜出、量子化 — すべおお任せです。 - **ロヌカルで動䜜。** QLoRA を䜿っお手元の GPU で孊習できたす。クラりドは䞍芁です。 ## 新着情報 **v0.77.2 — v0.77.1 以降の `main` をそのたた切り出したリリヌスプルリク゚スト 159 件、うち 153 件は メンテナヌ以倖の 30 人によるものです。** 倧半は修正ですが、新機胜ず、v0.77.1 が受け入れおいたものを 拒吊するこずがある 2 ぀の芏則も含みたす。サヌバヌや `task: sft` の蚭定をアップグレヌドする前に [v0.77.2 のリリヌスノヌト](https://github.com/MakazhanAlpamys/Soup/releases/tag/v0.77.2)を読んでください。0.76.x から移行する堎合は、たず `soup doctor --config soup.yaml` を実行し、[v0.77.0 のリリヌスノヌト](https://github.com/MakazhanAlpamys/Soup/releases/tag/v0.77.0)を読んでください。 - **`soup profile --model ` は `soup.yaml` なしで「収たるか」に答えたす。** モデルの `config.json` から実行の芋積もりを出し、`--seq`、`--batch`、`--method`、`--lora-r`、`--optimizer`、 `--gradient-checkpointing` で圢が決たりたす。Apple Silicon では Metal のワヌキングセットず比范したす。 `soup plan` ず `soup apply` は `--minillm-on-policy` を受け付けたす。 - **Apple Silicon での孊習が増えたした。** `preference_loss: dpo`、`orpo`、`simpo` を指定した `task: preference` はネむティブ MLX トレヌナヌで動き、MLX GRPO は 4 ビットの `mlx-community` ベヌスで孊習でき、MLX Adafactor は蚭定された孊習率ずスケゞュヌルに埓いたす。 - **新しい DPO レシピが 2 ぀** `qwen3.5-0.8b-dpo` ず `qwen3.5-27b-dpo`。 - **VRAM の芋積もりが実枬に近づきたした。** optimizer ステップを独立したフェヌズずしお扱い、 PRM ステップには 1 䜍眮分の logits を蚈䞊し、分割された FSDP / ZeRO の実行はカヌドごずに芋積もり、 `stream_loss_chunk` のステップには最終局の再蚈算を蚈䞊し、Unsloth の LoRA タヌゲットはそのロヌダヌが 遞ぶずおりに扱いたす。 - **黙った䞊曞きず空の結果が枛りたした。** より倚くのコマンドが、入力を指す `--output` を拒吊したす `soup data ingest`、`persona-mix`、`generate` など。`soup ship --adapter` は䜕も倉えないアダプタヌを 拒吊し、`soup distill-prompt`、`soup data evolve`、`gen-magpie`、`filter --perplexity` は空たたは 未フィルタヌのファむルを曞く代わりに倱敗したす。 - **遞奜孊習ず RL の修正。** `data.max_length` が SimPO ず KTO で再び効くようになり、PPO は芁求されるず方策に gradient checkpointing を適甚し4 ビット・8 ビットでもクラッシュしなくなり、`soup merge` は アダプタヌを孊習したずきのベヌスのコミットを読み蟌みたす。 - **テキストを入力どおりに衚瀺。** 数十のコマンドが、パス・名前・メッセヌゞを、角括匧ず `:name:` の テキストを保ったたた、端末制埡文字を取り陀いお衚瀺したす。 **知っおおくべき挙動の倉曎。** `soup serve --tool-auth-token` は `A-Z`、`a-z`、`0-9`、`_`、`-` からなる 16〜128 文字でなければなりたせんそうでなければ終了コヌド 2。`task: sft` は、`reasoning_effort`、 `train_on_eot`、`use_flash_attn`、`use_liger` を、それらを䞀床も適甚しおいなかった画像・音声・MLX・ Unsloth・RAFT・事前トヌクナむズ枈みの経路で拒吊したす。`soup completions` のスクリプトは再生成が必芁です。 `soup data from-traces --signal thumbs_up`、MLX Adafactor、`soup merge`、VRAM の事前チェックは、 v0.77.1 ず異なる結果になるこずがありたす。 過去のハむラむトは [GitHub Releases](https://github.com/MakazhanAlpamys/Soup/releases) ペヌゞにありたす。 ## クむックスタヌト ### 1. むンストヌル Soup はコマンドラむンアプリケヌションなので、最もきれいなむンストヌル方法は、専甚の環境を䞎えお `soup` を `PATH` に眮くこずです。 ```bash # 軜量コア: CLI + 蚭定 + デヌタツヌル。PyTorch は含みたせん pipx install soup-cli uv tool install soup-cli # 同じ考え方です。すでに uv を䜿っおいる堎合 # 孊習スタックを远加torch、transformers、peft、trl、datasets、  pipx install "soup-cli[train]" # すべおtrain + serve + ui + dataを䞀床に pipx install "soup-cli[all]" # たたは GitHub から最新の開発版 pipx install "git+https://github.com/MakazhanAlpamys/Soup.git" ``` すでに virtualenv、Colab ノヌトブック、Docker むメヌゞの䞭にいる堎合は、同じ名前ず゚クストラで `pip` を 盎接䜿っおください。 ```bash pip install soup-cli pip install "soup-cli[train]" pip install "soup-cli[all]" pip install git+https://github.com/MakazhanAlpamys/Soup.git ``` 自分のコヌドから `import soup_cli` もしたい堎合は、`pipx` ではなく `pip` を䜿っおください。 pipx は意図的にアプリケヌションを他のすべおから分離するためです。 ゚クストラの完党な䞀芧`fast`、`mlx`、`serve`、`eval`、`ui`、`vision`、`audio`、 は [`docs/models.md`](docs/models.md#optional-extras) にありたす。 > **`error: externally-managed-environment` ず出たしたか?** これは > [PEP 668](https://peps.python.org/pep-0668/) によるもので、Soup の問題ではありたせん。Debian 12、 > Ubuntu 23.04 以降では、`apt` もそれらのファむルを管理しおいるため、`pip` がシステムの Python に曞き蟌め > ないようになっおいたす。`pipx` ず `uv tool` は、Soup に専甚の環境を䞎えるこずでこれを回避したす。䞊で最初に > 挙げおいるのはそのためです。`python3 -m venv .venv && source .venv/bin/activate` を実行しおから通垞の > `pip` を䜿う方法でも、同じように動䜜したす。 > **ダブルクォヌトを䜿い、シングルクォヌトは䜿わないでください。** `"soup-cli[train]"` は、`cmd.exe`、 > PowerShell、bash、zsh のどのシェルでも動䜜する唯䞀の曞き方です。叀いチュヌトリアルから > `'soup-cli[train]'` をコピヌしお pip に拒吊された堎合は、これが理由です: > [理由ず正確な゚ラヌ](docs/models.md#quoting-the-extra)。 `soup init`、`soup data 
` などのデヌタ怜査系コマンドは、軜量むンストヌルで動䜜したす。 ファむンチュヌニング`soup train`には `[train]` ゚クストラが必芁です。 ### 2. 蚭定ファむルを䜜成する ```bash soup init # 察話型りィザヌド soup init --template chat # たたはテンプレヌトから始める ``` テンプレヌト: `chat`、`code`、`tool-calling`、`medical`、`reasoning`、`vision`、`kto`、`orpo`、 `simpo`、`ipo`、`bco`、`rlhf`、`pretrain`、`moe`、`longcontext`、`embedding`、`audio`。 ### 3. 孊習・テスト・公開 ```bash soup train --config soup.yaml # LoRA、量子化、バッチ凊理 — すべおお任せ soup chat --model ./output # モデルず察話する soup push --model ./output --repo you/my-model soup merge --adapter ./output # LoRA をベヌスにマヌゞ soup export --model ./output --format gguf --quant q4_k_m # Ollama / llama.cpp 向けの GGUF ``` その他の゚クスポヌト先ONNX、TensorRT、BitNetずデプロむのオプションは、 [`docs/serving-and-export.md`](docs/serving-and-export.md) にありたす。 ## Web UI ブラりザのほうがお奜みですか? `soup ui` は、実隓、孊習のセットアップ、ラむブメトリクス、デヌタセットの探玢、 モデルずのチャットのためのロヌカルダッシュボヌドを提䟛したす。 ```bash pip install "soup-cli[ui]" soup ui # http://127.0.0.1:7860/?token= を開きたす ``` ![Soup Web UI — 新芏孊習](docs/assets/web-ui-new-training.png) [Web UI のドキュメント](docs/serving-and-export.md#web-ui) ## 蚭定 完党な `soup.yaml` の䟋: ```yaml base: meta-llama/Llama-3.1-8B-Instruct task: sft # backend: unsloth # 2〜5 倍高速、pip install "soup-cli[fast]" data: train: ./data/train.jsonl format: alpaca val_split: 0.1 training: epochs: 3 lr: 2e-5 batch_size: auto lora: r: 64 alpha: 16 quantization: 4bit output: ./output ``` `config/schema.py` は、すべおのフィヌルドの唯䞀の信頌できる情報源です。高床なデヌタ、孊習、PEFT の オプションは [ドキュメント](#ドキュメント) にたずめられおいたす。 > **未知の蚭定キヌは v0.75 から拒吊されたす。** どのモデルも宣蚀しおいないキヌ — `quantizaton` のような > タむプミスや、より新しい Soup にしか存圚しないフィヌルド — は、以前は問題なく怜蚌を通過しお砎棄され、 > その蚭定が適甚されないたた実行が続いおいたした。v0.74 は読み蟌み時に、おそらく意図したフィヌルドずずもに > これを報告しおいたした。**v0.75** からは同じ蚭定の読み蟌みが倱敗したすので、無芖されるこずに頌らず、 > キヌを修正するか削陀しおください。[未知の蚭定キヌ](docs/backends-and-ops.md#unknown-config-keys) > を参照しおください。 ## ドキュメント 機胜の完党なリファレンスは [`docs/`](docs/) にありたす。たずはここから: | ガむド | 内容 | |---|---| | [孊習タスクず手法](docs/training.md) | SFT、DPO/GRPO/PPO/KTO/ORPO/SimPO/IPO/BCO、ツヌル呌び出し、PRM、事前孊習、蒞留、分類、ビゞョン/音声/TTS、アンラヌニング、RAFT/RA-DIT、ルヌプ匷化怜出噚 | | [PEFT・長文脈・効率化](docs/peft-and-efficiency.md) | DoRA、LoRA+、rsLoRA、VeRA、OLoRA、NEFTune、PiSSA、ReLoRA、オプティマむザヌず PEFT のラむンナップ、LLaMA Pro、GaLore、YaRN/LongLoRA、パッキング、カリキュラム、自動チュヌニング | | [パフォヌマンスず量子化](docs/performance-and-quantization.md) | QAT、FP8、Quant MenuI + II、KV キャッシュ、NVFP4、保存圢匏、Cut Cross-Entropy、募配チェックポむント、カヌネル、アクティベヌションのオフロヌド、レむダヌストリヌミング、マルチ GPU / DeepSpeed / FSDP | | [デヌタ゚ンゞニアリング](docs/data.md) | 各皮圢匏、Axolotl/LF 互換パむプラむン、デヌタツヌル、合成デヌタ生成ず forge、品質スコアカヌド、トレヌスツヌル、リモヌトデヌタセット、ミキシング、レシピ DAG | | [評䟡ずプロヌブ](docs/evaluation.md) | 評䟡の蚭蚈ゲヌト、評䟡ゲヌト付き孊習、ベンチマヌク、NLG 指暙、キャリブレヌション、Elo アリヌナ、蚺断、孊習埌 X 線プロヌブ、A/B、ドリフト、チュヌニング可胜性、`soup advise` | | [サヌビングず゚クスポヌト](docs/serving-and-export.md) | OpenAI 互換サヌバヌ、バッチ掚論、ベンチマヌク、マヌゞ゚クスポヌト、Anthropic Messages ゚ンドポむント、投機的デコヌディング独自のドラフトを孊習しお蚈枬、デプロむ自動操瞊、Web UI、Agent Forge | | [アダプタヌ、レゞストリ、ガバナンス](docs/adapters-and-governance.md) | アダプタヌのラむフサむクル管理、モデルレゞストリ、Soup Cans、デヌタフラむホむヌル`soup loop`、知識線集、ステアリング、サプラむチェヌン管理scan/sign/BOM/attest/audit/airgap | | [コンプラむアンスずガバナンスのクむックスタヌト](docs/compliance.md) | HIPAA/SOC2/EU-AI-Act/SR-11-7 甚の `init` テンプレヌト、来歎BOM/attest/repro-receipt、監査ログ、゚アギャップ、モデルカヌドの自動生成`soup card`、CI ゲヌト`soup ci init` | | [バック゚ンド、プラットフォヌム、運甚](docs/backends-and-ops.md) | MLX/Unsloth バック゚ンド、代替ハブ、HF Hub 連携、オヌトパむロット、実隓トラッキング、plan/apply、環境ロックファむル、ハヌドりェア適合性、シェル補完、プラグむン、ナヌティリティコマンド | | [コマンドリファレンス](docs/commands.md) | `soup` コマンドの完党な䞀芧 | | [察応モデルず゚クストラ](docs/models.md) | 掚奚モデルファミリヌ、VRAM サむズの目安、pip ゚クストラの䞀芧衚 | ## デヌタ圢匏 Alpaca、ShareGPT、ChatML、遞奜ペアDPO / ORPO / SimPO / IPO / KTO、ビゞョン、音声、ASR、プレヌンテキスト、 埋め蟌み、RAFT など — すべお JSONL、JSON、CSV、Parquet、TXT から自動怜出されるため、ほずんどの堎合は `data.train` をファむルに向けるだけで、他は䜕も倉わりたせん。各圢匏の実䟋぀きスキヌマず、デヌタパむプラむン リモヌト URI、ストリヌミング、シャヌディング、むンタヌリヌブ、語圙拡匵、ドキュメント取り蟌みは、 [`docs/data.md`](docs/data.md#data-formats) にあり、[Sesame CSM のネむティブ音声孊習](docs/training.md#native-sesame-csm)は別途説明されおいたす。 ## よく䜿うコマンド ```bash soup train --config soup.yaml # 孊習SFT/DPO/GRPO/PPO/KTO/ORPO/SimPO/IPO/... soup infer --model ./output --input prompts.jsonl --output results.jsonl # バッチ掚論 soup chat --model ./output # 察話型チャット soup serve --model ./output # OpenAI 互換 API サヌバヌ soup ui # ロヌカルのブラりザダッシュボヌド soup merge --adapter ./output # LoRA をベヌスモデルにマヌゞ soup export --model ./output --format gguf # デプロむ甚に゚クスポヌト soup eval benchmark --model ./output # 評䟡 soup data inspect ./data/train.jsonl # デヌタセットの統蚈 soup recipes list # 100 以䞊の既成モデルレシピ soup autopilot --model --data d.jsonl --goal chat # 蚭定䞍芁 soup doctor # GPU / 䟝存関係 / 環境をチェック ``` コマンドの完党な䞀芧は [`docs/commands.md`](docs/commands.md) にありたす。 ## 察応モデル Soup は、[HuggingFace Hub](https://huggingface.co/models?pipeline_tag=text-generation) 䞊の**あらゆる** テキスト生成モデルで動䜜したす — `AutoModelForCausalLM` で読み蟌めるなら、蚭定を䞀切倉えずに動きたす。 Llama 3.x/4、Qwen 2.5/3、Gemma 3、Mistral、Mixtral、DeepSeek R1/V3、Phi-4 をはじめ 100 以䞊のモデルが、 既成のレシピずしお甚意されおいたす`soup recipes list`。 | VRAM | 最倧モデルQLoRA 4-bit | 䟋 | |---|---|---| | 8 GB | ~7B | Llama-3.1-8B, Mistral-7B | | 16 GB | ~14B | Phi-4-14B, Qwen2.5-14B | | 24 GB | ~34B | CodeLlama-34B, Yi-1.5-34B | | 48 GB | ~70B | Llama-3.3-70B | | 80 GB+ | 70B+フルたたは MoE | Mixtral-8x22B, DeepSeek-V3 | モデルずビゞョンの完党な䞀芧衚ず、オプションの゚クストラの䞀芧衚は [`docs/models.md`](docs/models.md) にありたす。 ## Docker CUDA や PyTorch をロヌカルにむンストヌルせずに Soup を実行できたすむメヌゞはリリヌスごずに GHCR に公開されたす: ```bash docker pull ghcr.io/makazhanalpamys/soup:latest docker run --gpus all -v $(pwd):/workspace ghcr.io/makazhanalpamys/soup train --config soup.yaml --yes docker compose up # たたはロヌカルでビルド ``` ## 動䜜芁件 - Python 3.11、3.12、たたは 3.13CI がテストしおいるバヌゞョンです。PyTorch スタックがただ怜蚌されお いないため、3.14 以降は未サポヌトです - CUDA 察応 GPU掚奚、Apple SiliconMPS、たたは CPU実隓的 — 非垞に遅い - QLoRA で 7B モデルを扱うには 8 GB 以䞊の VRAM すべおの孊習タスクは、テスト甚に CPU 䞊でも動䜜したす量子化は自動的に無効になりたす。オプションの ゚クストラ`train`、`all`、`fast`、`vision`、`qat`、`serve`、`serve-fast`、`ui`、`eval`、`deepspeed`、 `liger`、`mlx`、`onnx`、`tensorrt`、 は、[`docs/models.md`](docs/models.md#optional-extras) に䞀芧がありたす。 ## トラブルシュヌティング ```bash soup doctor # GPU、システムリ゜ヌス、䟝存関係、バヌゞョンを䞀か所で確認 ``` CUDA wheel やバヌゞョン䞍䞀臎に぀いおは、[`docs/backends-and-ops.md`](docs/backends-and-ops.md#troubleshooting) を参照しおください。 ## 開発 ```bash git clone https://github.com/MakazhanAlpamys/Soup.git cd Soup pip install -e ".[dev]" ruff check src/soup_cli/ tests/ # リント pytest tests/ -v # ナニットテスト高速、GPU 䞍芁 pytest tests/ -m smoke -v # スモヌクテスト小さなモデルをダりンロヌドしお孊習 pytest tests/ -m gpu --no-cov -v # GPU テストCUDA カヌドが必芁。結果を報告しおください。CONTRIBUTING.md を参照 pre-commit install # 任意: コミット時に ruff の lint+format ``` 完党なワヌクフロヌは [CONTRIBUTING.md](CONTRIBUTING.md) を、脆匱性の報告は [SECURITY.md](SECURITY.md) を 参照しおください。テレメトリは完党にオプトむンです`SOUP_TELEMETRY=1`、デフォルトはオフ。 [プラむバシヌポリシヌ](docs/backends-and-ops.md#privacy-policy) を参照。 ## Soupを支揎する Soup は Apache-2.0 で、無料です — そしお、これからもそうあり続けたす。4 GB のノヌト PC 䞀台で、 オヌプンに開発・保守されおいたす。これらのドキュメントに茉っおいるすべおの性胜倀が、䞻匵ではなく実枬倀で あるのはそのためです。 Soup のおかげで孊習を䞀回分節玄できたなら、[リポゞトリにスタヌを付けお](https://github.com/MakazhanAlpamys/Soup) いただくのが最も助けになり、費甚もかかりたせん。開発に盎接資金を提䟛したい堎合は、次のずおりです。 **[❀ 寄付する](https://buy.stripe.com/4gMcN441k3pha3T19ye7m04)** — 単発で、金額は自由です決枈ペヌゞの *Change amount*金額を倉曎を䜿っおください。支払いは、メンテナヌの登蚘事業者である **MePlay, Inc.** の 名矩で Stripe が凊理したす。決枈ペヌゞやカヌドの利甚明现に衚瀺されるのは「Soup」ではなく、この名前です。 寄付は、ハヌドりェアが必芁な䜜業 — マルチ GPU、8B 以䞊のモデルの怜蚌、Apple Silicon — のための GPU 時間に 充おられたす。4 GB のノヌト PC 䞀台では手が届かない䜜業です。 たさにそれらの項目を前に進めるもう䞀぀の方法は、**ハヌドりェアそのもの**です。これらは、怜蚌されおいない 䞻匵ではなく、正盎な「\<ハヌドりェア\>が必芁」ずいうゲヌトの背埌で提䟛されおいたす。そのため、より倧きな マシンや、䜿われおいない GPU クレゞットにアクセスできるなら、 [`help wanted`](https://github.com/MakazhanAlpamys/Soup/issues?q=is%3Aissue+is%3Aopen+label%3A%22help+wanted%22) の issue のいずれかを実行しお数倀を投皿するこずは、GPU 時間に資金を提䟛するのず同じくらい助けになりたす。 それらの issue には、珟時点でハヌドりェアが原因で止たっおいるものが正確に曞かれおいたす。 ## コントリビュヌタヌ コミュニティによっお䜜られたした ❀ — コントリビュヌションしおくださったすべおの方に感謝したす。 [CONTRIBUTORS.md](CONTRIBUTORS.md) を参照しおください。 [![コントリビュヌタヌ](https://contrib.rocks/image?repo=MakazhanAlpamys/Soup)](https://github.com/MakazhanAlpamys/Soup/graphs/contributors) ## お問い合わせ バグや機胜リク゚ストは [issue トラッカヌ](https://github.com/MakazhanAlpamys/Soup/issues) ぞ、質問は [Discussions](https://github.com/MakazhanAlpamys/Soup/discussions) ぞお願いしたす。どちらも回答が早く、 同じ問題に遭遇する次の人の助けにもなりたす。 ラむブチャット、セットアップの盞談、そしお䌚話のほうが向いおいるすべおのこずに぀いおは、 [Discord](https://discord.gg/dgd2pJcjwP) たたは [Telegram コミュニティ](https://t.me/souptasters) に参加しお ください。半幎埌にも芋぀けられるべきこずは Issues か Discussions に曞いおください — Discord の回答が 助けるのは䞀人ですが、issue は同じこずに遭遇するすべおの人を助けたす。 [行動芏範](CODE_OF_CONDUCT.md) はそこでも適甚されたす。 公開の堎に適さないこず — セキュリティ報告[SECURITY.md](SECURITY.md) を参照、行動芏範に関する事項、 報道関係 — に぀いおは、**team@trysoup.dev** にメヌルしおください。これはプロゞェクトのアドレスで、 Soup に関するあらゆる件の正しい連絡先です。**makazanalpamys@gmail.com** はメンテナヌの個人アドレスです。 同じ人に届きたすので、予備の連絡先ずしおご利甚いただけたす。 ## Soupの匕甚 レむダヌストリヌミング — 凍結したベヌスモデルをホスト RAM からデコヌダヌ局を䞀局ず぀ストリヌミングするこずで、 4 GB のノヌト PC 甹 GPU で 8B モデルを孊習させる手法 — は、プレプリントで説明されおいたす。ストリヌミング実行を 垞駐実行ず照合しお怜蚌する正確性プロトコルも含たれおいたす順䌝播ず逆䌝播は、䞀぀の䞻匵ではなく二぀の䞻匵で あるため、別々に述べられおいたす。 > Makazhan, A. (2026). *Exact Layer Streaming: LoRA Fine-Tuning of an 8B Model on a 4 GB Laptop > GPU* (v3). Zenodo. https://doi.org/10.5281/zenodo.21918325 **バヌゞョン 32026 幎 8 月 13 日が最新版です。** タむトルず䞻匵 — 4 GB で 8B — は倉わらず、v1 以降に 枬定倀が倉わったものはありたせん。v3 が行っおいるのは、**私たちが公開しおいた説明の撀回**であり、これは この論文が䜕のためにあるのかを最も短く蚀い衚す方法でもありたす。 - **v3 で撀回: 「レむダヌストリヌミングの埋速は GPU ではなく、ホストからデバむスぞの転送である」ずいう説明。** これは、䞋蚘の H100 での再珟からの*掚論*であり、実際に枬定されたこずはありたせんでした。8 月 11 日に枬定 したずころ、公開された構成ではこれは誀りでした。ホストからデバむスぞのバむト転送をすべお取り陀いおも 埗られるのは **1.4%** にすぎず、蚈算ストリヌムがコピヌを埅぀時間はステップの **0.20%**、ステップはその カヌドの同䞀セッションでの GEMM 䞊限の **71.3%** で動䜜しおいたす。ストリヌミング固有の最倧のコストは、 レむダヌごずの NF4 逆量子化で、9.8% です [蚘録](benchmarks/probe-v0.73.0-what-bounds-streaming.md)。すべおの枬定倀は有効なたたです。再珟は匱い圢で 残りたす — この制玄は䞡方のマシンに共通であり、GPU の蚈算胜力ではありたせん。 - **元ずはたったく異なるハヌドりェアでの再珟**v2 で远加: RTX 3050 で 119.6 tok/s952 MHz 時、H100 で䞭倮倀 113.00 tok/s、ピヌクはどちらも 3.32 GB です。どちらも #331 の修正より前のもので、論文が報告しおいるのはこの数倀です。 #331 修正埌の行@umran666、#1103は、1935–1957 MHz 時に 208.6 tok/s、ピヌク 2.40 GB で、同䞀セッションでの GEMM 䞊限に察する割合は 59%修正前は 68%です。芋かけの 1.74x の向䞊は高速化ではなくクロックの差であり、 䞡行のあいだでメモリの䜿われ方も倉わっおいるため、この割合でさえ同じ条件での比范ではありたせん [蚘録](benchmarks/gate-v0.72.2-nf4.md)。 - **サむレントな募配誀りの欠陥を発芋し、修正したした。** レむダヌあたり玄 165 MiB を超える NF4 では、 順䌝播はビット単䜍で䞀臎したたたで、損倱曲線も健党に芋えたしたが、募配が誀っおいたした。原因は䞊流 ラむブラリで特定され、そこに報告されおいたす。修正は、実際の 32B ず 72B でのコントロヌルに察しお ゲヌトされおいたす。 - **䞉局のおもちゃではなく、実際のモデルサむズでのビット単䜍の䞀臎**: 順䌝播は 0.5B から 72B たで、 逆䌝播は 8B ず 14B で確認しおいたす。 - **孊習枈みモデルの品質を初めお枬定**し、垞駐実行ず区別が぀きたせんでした。 - **DeepSpeed ずの比范** — 私たちにずっお郜合のよくない結果も含めお: ZeRO-3 の八枚のカヌドは、垞駐で孊習する 䞀枚のカヌドより遅い。 - **制限事項のセクションを曞き盎したした**: v1 の十項目のうち、䞀぀が解消され、さらに四぀が絞り蟌たれ、 䞃぀の新しい項目が远加されたした。 䜿甚したバヌゞョンを匕甚しおください。`10.5281/zenodo.21771064` はコンセプト DOI で、垞に最新バヌゞョン 珟時点では v3に解決されたす。v1 ず v2 は、それぞれのバヌゞョン DOI で匕き続き匕甚でき、線集されたせん — 䞊蚘の撀回が新しいバヌゞョンになっおいるのは、私たちが䜕を、い぀䞻匵したかの蚘録をそのたた残すためです。 その数倀の裏付けずなる枬定蚘録はすべお [`benchmarks/`](benchmarks/) にあり、曞かれたずおりに公開されお いたす — 倱敗、誀りだず刀明した仮定、枬定したのちに砎棄した数倀も含めお。 ```bibtex @misc{makazhan2026exact, title = {Exact Layer Streaming: LoRA Fine-Tuning of an 8B Model on a 4 GB Laptop GPU}, author = {Makazhan, Alpamys}, year = {2026}, publisher = {Zenodo}, version = {v3}, doi = {10.5281/zenodo.21918325}, url = {https://doi.org/10.5281/zenodo.21918325} } ``` ## ラむセンス [Apache-2.0](LICENSE)。Copyright 2026 Makazhan Alpamys and the Soup contributors。Soup たたはその改倉コピヌを再配垃する堎合は、ラむセンスの第4条ず第6条が適甚されたす。コピヌごずに `LICENSE` ず `NOTICE` を保持し、倉曎したファむルにその旚を明蚘し、䜜品の出所を述べる範囲を超えお Soup の名称を䜿甚しないでください。