在上回，我在 如何克隆一个大 Git 项目 说到，遇到了克隆大项目的时候，如果遇到问题该如何解决，这次我们来继续聊聊，假如你是这种项目的维护者，该如何改善。

问题分析

相信你也看到了如果你维护的是一个大项目，会给那些新加入的参与者带来什么样的麻烦了。

那么，有什么方法可以解决这个问题呢？我们不妨先来看看大项目往往是什么原因造成的：

  1. 的确是个有历史大项目，像 Google 自己的大项目，相信这种情况下，你们会有自己的解决方案；
  2. 放了太多不必要的文件，这种的话，也有方案，下面听我介绍；

所谓不必要的文件是什么呢？

像 C++ 的静态、动态库，Node.js 项目的 node_modules 目录，Golang 项目的 vender 目录，以及一些压缩文件、图片文件，甚至是可执行文件等等。这些文件的特点就是，占用空间大，并且可以通过下载、编译等方式重新创建，因此往往不需要放到项目中，但是也挡不住有同学为了省时间而把它们加进去。

这确实会有好处，比如下载可能会遇到网络问题，放在项目中可以跳过下载，加快项目的初始化；而一些第三方库文件，放在项目中也可以大大减少重新编译的时间。

不过我认为，可以有更好的方案，比如搭建自己的代理服务以及缓存服务。就看你们自己取舍了，毕竟维护这些服务也需要耗费精力。

假如你认为那些文件不必要放在项目中了，问题就会紧接着来了：已有的项目中，已经有了很多不必要的文件了，该怎么办？可以删掉，不过这时候，Git 萌新们会发现即使删了，项目库还是那么大。对的，因为你删掉的文件还是存在 Git 提交历史中。

这时候，有难度的做法，使用 Git 本身提供的 filter-branch1, 2：

1
2
3
git filter-branch --force --index-filter \
  "git rm --cached --ignore-unmatch path_to_file" \
  --prune-empty --tag-name-filter cat -- --all

这个命令会将你 Git 项目中 path_to_file 这个路径下的所有历史记录删除，包括分支与标签，并且因此操作而变为空的提交也会被删除。

不过，你也有更简单的方法，来看个好工具：BFG repo cleaner 。

下载安装后，命令非常简单：

1
bfg --delete-files path_to_file

进阶用法

而如果你嫌麻烦，或者觉得这些文件还是非要放在项目中，你还可以用 **git-lfs**。

什么是 lfs：它是 Large File Storage 的缩写，是 Git 的一个插件，专门用来给大文件设置版本，用来追踪的。而它的原理也是非常简单，把大文件替换成一个含有原来文件 hash 字符串的文件，这样就可以大大缩小文件占用空间，并且也可以与代码分开存储，加快传输速度。

安装的话，目前各个平台都有支持，直接用包管理工具安装即可。

安装之后，先开启本地项目的 git-lfs 支持，比如，我们打算把之后所有的 zip 文件放到 lfs 中，那么我们就需要：

1
git lfs track "*.zip"

然后，本地仓库会在 .gitattributes 文件（没有会新创建）中添加如下的一行：

*.zip filter=lfs diff=lfs merge=lfs -text

这就意味着，你可以通过 git-lfs 来追踪这个 zip 文件的变动了，git-lfs 的存储不会与仓库存储在一起，而是另外存储，并且由于大文件的克隆全部变成了文件的上传下载，克隆的速度可以大大加快。

另外，BFG repo cleaner 也支持你把现有的项目中匹配的大文件转为 git-lfs ，用 --convert-to-git-lfs 这个参数即可，下面是我用过的一个例子：

1
2
3
4
5
6
# 建议复制一份后再测试
java -jar /path/to/bfg/bfg-1.13.0.jar --convert-to-git-lfs '*.{a,dylib,zip,gz,tgz,so,so.*,png,jpg}' /path/to/my/repo/.git

cd /path/to/my/repo/
git reflog expire --expire=now --all && git gc --prune=now --aggressive
git push -f

由于 BFG repo cleaner 不会修改你的 HEAD，因此最好你将本地仓库现有的大文件全部加入到 git-lfs 中，提交一次，这样不需要继续修改就可提交。

其实 git-lfs 本身也提供了 git lfs migrate import --include="*.psd" --everything 这样的命令，但是我尝试过，无论是速度还是效果，都不如 BFG repo cleaner，假如有成功的可以交流以下。

Ref

  1. Rewrite branches
  2. Removing sensitive data from a repository

首发于 Github issues: https://github.com/xizhibei/blog/issues/132 ，欢迎 Star 以及 Watch

本文采用 署名-非商业性使用-相同方式共享（BY-NC-SA）进行许可
作者：习之北 (@xizhibei)
原链接：https://blog.xizhibei.me/2020/02/23/how-to-reduce-space-for-a-large-git-repo/