2025年2月10日 • 作者：Daniel & Michael 今天，我们荣登 GitHub 热门仓库榜首，这完全归功于你们！为了庆祝，我们想借此机会欢迎每一位朋友，无论您是我们的老朋友还是刚刚发现 Unsloth！💖 首先，我们要感谢每一位用户。我们非常感谢你们的支持，无论是阅读我们的博客、与我们互动、为我们的仓库贡献代码，还是仅仅使用/分享 Unsloth。你们的支持对我们来说意义非凡，没有你们就没有今天的我们！此外，我们也为你们对 1.58 位动态 DeepSeek-R1 和我们最新的推理版本的喜爱程度感到震惊。但这仅仅是个开始——我们不会就此放慢脚步！以下是我们旅程的一些亮点： 🦥 Unsloth 亮点 * 2023 年 12 月：我们推出了 Unsloth，使训练速度提高了 2 倍，内存效率提高了 50%。我们构建了一个自定义的自动求导引擎，用 OpenAI 的 Triton 重写了所有内核，包括具有优化的前向和反向传递的 RoPE 嵌入，并拥有我们自定义的快速交叉熵损失内核。 * 2024 年 1 月：我们开始将模型上传到 Hugging Face，并已被你们这些了不起的人下载了数百万次！我们还与 Hugging Face 合作，非常感谢他们一直以来的支持。🤗 * 2024 年 3 月：我们在 Google 出色的 Gemma 模型中发现并修复了 8 个错误。感谢 Andrej Karpathy 对我们工作的认可以及 Google 团队的支持！❤️ * 2024 年 4 月：我们引入了 Unsloth 梯度检查点，它使上下文长度增加了 4 倍，批量大小增加了 1.7 倍。史诗级的 Llama 3 模型发布了，我们使 70B 模型能够在 48GB 的 VRAM 上运行。 * 2024 年 5 月：我们发现并修复了 Llama 3 中的许多错误，大大提高了训练的准确性。惊人的 Phi-3 模型发布了，我们对其进行了 Llama 化。 * 2024 年 7 月：我们修复了 Gemma 2 中的许多错误，并引入了使用 CSV/Excel 文件和多列进行微调的功能。 * 2024 年 10 月：我们修复了梯度累积中的一个普遍问题，该问题对每个人的训练运行都产生了负面影响（不仅是 Unsloth，还有所有训练模型的人）。 * 2024 年 11 月：通过 Llama、Qwen、Pixtral 和 Llava 支持，视觉微调速度提高了 2 倍，VRAM 使用量减少了 70%。我们还发现并修复了 Qwen 2.5 中的许多错误。 * 2024 年 12 月：我们推出了 Unsloth 4 位动态量化，通过选择性地避免量化某些层，与标准 4 位量化相比，它大大提高了精度。并且我们为 Llama 3.3 增加了 13 倍的上下文长度支持。 * 2025 年 1 月：我们发布了 1.58 位动态 R1 GGUF，使你们能够在本地设备上运行 R1，并发现并修复了 Phi-4 中的许多错误。 * 2025 年 2 月：我们在 Unsloth 中引入了推理功能，并使 GRPO 能够与 QLoRA 和 LoRA 协同工作，而这两种方法以前无法协同工作——这使得家庭用户能够训练自己的推理模型，如 R1。 💡 未来展望我们一直在努力创新，并且不会就此止步。今年，你们可以期待更多令人兴奋的新功能，这些功能将使创建自定义模型变得更加轻松和便捷。当然，多 GPU 和 Unsloth Studio 仍在开发中，所以不用担心——但我们必须首先支持所有模型，这很快就会实现。我们的首要目标是开源，并为你们 Unsloth 一切，这一点永远不会改变，所以我们希望你们今年能继续关注我们，了解更多精彩内容！ 💕 谢谢！衷心感谢每一位让 Unsloth 成为可能的人——无论是通过使用、分享、贡献还是与我们互动！🙏 欢迎加入我们的 Reddit 页面和 Discord 服务器寻求帮助，不错过任何新闻，或仅仅表达您的支持！您也可以在 Twitter 和 Newsletter 上关注我们。

重新介绍 Unsloth

Taimu

2025年2月10日

• 作者：Daniel & Michael

今天，我们荣登 GitHub 热门仓库榜首，这完全归功于你们！为了庆祝，我们想借此机会欢迎每一位朋友，无论您是我们的老朋友还是刚刚发现 Unsloth！💖

首先，我们要感谢每一位用户。我们非常感谢你们的支持，无论是阅读我们的博客、与我们互动、为我们的仓库贡献代码，还是仅仅使用/分享 Unsloth。你们的支持对我们来说意义非凡，没有你们就没有今天的我们！

此外，我们也为你们对 1.58 位动态 DeepSeek-R1 和我们最新的推理版本的喜爱程度感到震惊。但这仅仅是个开始——我们不会就此放慢脚步！

以下是我们旅程的一些亮点：
🦥 Unsloth 亮点

2023 年 12 月：我们推出了 Unsloth，使训练速度提高了 2 倍，内存效率提高了 50%。我们构建了一个自定义的自动求导引擎，用 OpenAI 的 Triton 重写了所有内核，包括具有优化的前向和反向传递的 RoPE 嵌入，并拥有我们自定义的快速交叉熵损失内核。
2024 年 1 月：我们开始将模型上传到 Hugging Face，并已被你们这些了不起的人下载了数百万次！我们还与 Hugging Face 合作，非常感谢他们一直以来的支持。🤗
2024 年 3 月：我们在 Google 出色的 Gemma 模型中发现并修复了 8 个错误。感谢 Andrej Karpathy 对我们工作的认可以及 Google 团队的支持！❤️
2024 年 4 月：我们引入了 Unsloth 梯度检查点，它使上下文长度增加了 4 倍，批量大小增加了 1.7 倍。史诗级的 Llama 3 模型发布了，我们使 70B 模型能够在 48GB 的 VRAM 上运行。
2024 年 5 月：我们发现并修复了 Llama 3 中的许多错误，大大提高了训练的准确性。惊人的 Phi-3 模型发布了，我们对其进行了 Llama 化。
2024 年 7 月：我们修复了 Gemma 2 中的许多错误，并引入了使用 CSV/Excel 文件和多列进行微调的功能。
2024 年 10 月：我们修复了梯度累积中的一个普遍问题，该问题对每个人的训练运行都产生了负面影响（不仅是 Unsloth，还有所有训练模型的人）。
2024 年 11 月：通过 Llama、Qwen、Pixtral 和 Llava 支持，视觉微调速度提高了 2 倍，VRAM 使用量减少了 70%。我们还发现并修复了 Qwen 2.5 中的许多错误。
2024 年 12 月：我们推出了 Unsloth 4 位动态量化，通过选择性地避免量化某些层，与标准 4 位量化相比，它大大提高了精度。并且我们为 Llama 3.3 增加了 13 倍的上下文长度支持。
2025 年 1 月：我们发布了 1.58 位动态 R1 GGUF，使你们能够在本地设备上运行 R1，并发现并修复了 Phi-4 中的许多错误。
2025 年 2 月：我们在 Unsloth 中引入了推理功能，并使 GRPO 能够与 QLoRA 和 LoRA 协同工作，而这两种方法以前无法协同工作——这使得家庭用户能够训练自己的推理模型，如 R1。

💡 未来展望

我们一直在努力创新，并且不会就此止步。今年，你们可以期待更多令人兴奋的新功能，这些功能将使创建自定义模型变得更加轻松和便捷。

当然，多 GPU 和 Unsloth Studio 仍在开发中，所以不用担心——但我们必须首先支持所有模型，这很快就会实现。我们的首要目标是开源，并为你们 Unsloth 一切，这一点永远不会改变，所以我们希望你们今年能继续关注我们，了解更多精彩内容！

💕 谢谢！

衷心感谢每一位让 Unsloth 成为可能的人——无论是通过使用、分享、贡献还是与我们互动！🙏

欢迎加入我们的 Reddit 页面和 Discord 服务器寻求帮助，不错过任何新闻，或仅仅表达您的支持！您也可以在 Twitter 和 Newsletter 上关注我们。