用Qwen 3.6 35B本地模型作为主力编程工具替代Claude或GPT

基于 Hacker News 上的这个热门讨论（关于是否有人在日常编程中用本地大模型完全替代 Claude/GPT），以下为您归纳出的几条 本地大模型最佳实践以及该讨论的 主要内容概述。

一、 本地大模型（Local LLM）编程的 5 条最佳实践

1. 选择最适配的混合架构模型（如 Qwen 3.6 35B） 讨论中多位资深用户指出， Qwen 3.6 35B（激活 3B 参数的混合专家模型 MoE） 是目前本地编程的“黄金甜点位（Sweet Spot）”。它在 128GB 或 36GB RAM 的设备（如 Mac Studio、Strix Halo 笔记本）上运行极快，且代码能力表现优异。对于更复杂的任务，可配合 Qwen 3.5 122B（激活 10B）作为后备。

2. 启用“保持思考”配置（Preserve Thinking）以优化缓存 在使用推理/思考模型（如带有 <think> 标签的模型）进行多轮对话或 Agent 自动化编程时，默认的模板可能会在下一轮对话中丢弃之前的思考链（CoT），导致每一轮都要重新计算完整的 KV 缓存（Context Reprocessing）。 最佳实践是在大模型后端（如 llama.cpp）中开启 preserve_thinking: true，这能大幅提升多轮对话中的缓存命中率，避免卡顿。

3. 使用 Vulkan 后端提升 AMD/Intel 硬件性能 在特定硬件（如 AMD Strix Halo 笔记本）上运行 llama.cpp 时，部分用户反馈 使用 Vulkan 后端甚至比官方的 ROCm 还要快且更稳定。硬件平台的后端选择（Vulkan vs ROCm/Metal）应根据实际本地测试来决定。

4. 精确提示与迭代开发（Iterative Development），不当“甩手掌柜” 本地模型（如 Qwen 3.6 35B）相比于闭源的顶尖模型（如 Claude 3.5 Sonnet / Opus），更像是一个 需要密切指导的“初级程序员（Junior）”。最佳实践是 不要指望它一次性生成成千上万行代码，而是采用“讨论设计方案 -> 达成共识 -> 迭代编写单个功能 -> 运行测试”的循环模式，且提示词必须极其精确、消除歧义，否则模型会为了偷懒选择最糟糕的架构（例如直接在 HTML 里塞满 CSS）。

5. 量化（Quantization）和容器化沙箱（Sandboxing）安全

   • 安全： 配合 Agent 框架（如 Pi 编程脚手架）时，务必将本地模型和执行环境 容器化（Docker）并进行沙箱隔离，限制其仅能访问当前工作目录，防止断网环境下本地脚本误操作或泄露敏感凭证。

   • 量化： 不要盲目相信社区的激进量化。量化对代码质量影响极大（MoE 架构对量化的耐受度稍好），建议在可能的情况下优先选用更高精度的版本（如 FP8 等）。

二、 帖子主要内容概述

这个帖子（Ask HN）的核心议题是： “有没有人真正把本地模型作为主力编程工具，完全替代了 Claude 或 GPT？” 评论区的技术人员对此展开了深度讨论，主要内容可概括为以下几点：

• 完全替代的可能性与实际体验： 多数硬核开发者表示 完全可以替代，尤其是在注重 隐私、离线开发和完全免费的场景下。有用户分享了他们纯靠本地模型（Qwen3.6 35b + Pi 框架）重构整个 Django+Wagtail 网站主页和博客的成功经历。

• 本地模型 vs 闭源大模型的差距： 用户普遍认为，Claude Opus 或 Sonnet 就像一个能帮你思考架构的“高级工程师（Senior）”，能带来 15 倍的效率提升；而本地模型则是一个需要你时刻盯着的“初级工程师”，能带来约 5 倍的效率提升。虽然本地模型更容易陷入逻辑死循环或在调用编辑工具时出错，但考虑到它 完全免费且纯离线，这种表现已经令人惊叹。

• 技术层面的深究（KV缓存与Attention机制）： 讨论中有很大一部分篇幅在硬核切磋本地运行的底层 Bug。大家深入探讨了为什么模型在多轮对话中会频繁触发“重新处理上下文（Re-processing context）”。多位开发者指出这通常是由于 Prompt 模板不一致、系统提示词每轮被修改（Harness Bug）或没有保存思考链导致的，并给出了具体的 Jinja 模板修改方案和命令行参数。

• 人机协作哲学的思辨： 开发者们辩论了“AI编程是否会导致代码质量退化”。主流观点认为，AI 不是为了让人变懒去生成一堆垃圾代码（Vibe Coding），而是作为“自动化 Google”和实时常驻的专家。高水平的开发者可以通过与本地 AI 讨论、审查其方案并编写大量测试，实现“控制权在人，生产力乘数在 AI”的高质量开发。