环境配置(General-Setting)

对标题的评论会显示在这里

pip、conda换源

对这一段的评论会显示在这里

pip、conda 换源

对这一段的评论会显示在这里

更多详细内容可移步至MirrorZ Help查看。

对这一段的评论会显示在这里

pip 换源

对这一段的评论会显示在这里

临时使用镜像源安装,如下所示:some-package 为你需要安装的包名

对这一段的评论会显示在这里
pip install -i https://mirrors.cernet.edu.cn/pypi/web/simple some-package
对这一段的评论会显示在这里

设置pip默认镜像源,升级 pip 到最新的版本 (>=10.0.0) 后进行配置,如下所示:

对这一段的评论会显示在这里
python -m pip install --upgrade pip
pip config set global.index-url https://mirrors.cernet.edu.cn/pypi/web/simple
对这一段的评论会显示在这里

如果您的 pip 默认源的网络连接较差,临时使用镜像源升级 pip:

对这一段的评论会显示在这里
python -m pip install -i https://mirrors.cernet.edu.cn/pypi/web/simple --upgrade pip
对这一段的评论会显示在这里

conda 换源

对这一段的评论会显示在这里

镜像站提供了 Anaconda 仓库与第三方源(conda-forge、msys2、pytorch 等,各系统都可以通过修改用户目录下的 .condarc 文件来使用镜像站。

对这一段的评论会显示在这里

不同系统下的.condarc目录如下:

对这一段的评论会显示在这里

Linux: ${HOME}/.condarc
macOS: ${HOME}/.condarc
Windows: C:\Users\.condarc

对这一段的评论会显示在这里

注意:

对这一段的评论会显示在这里

Windows 用户无法直接创建名为 .condarc 的文件,可先执行 conda config --set show_channel_urls yes 生成该文件之后再修改。

对这一段的评论会显示在这里

快速配置

对这一段的评论会显示在这里
cat <<'EOF' > ~/.condarc
channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
EOF
对这一段的评论会显示在这里

AutoDL开放端口

对这一段的评论会显示在这里

AutoDL 开放端口

对这一段的评论会显示在这里

autodl的端口映射到本地的 http://localhost:6006 仅在此处展示一次,以下两个 Demo 都是同样的方法把 autodl中的 6006端口映射到本机的 http://localhost:6006的方法都是相同的,方法如图所示。

对这一段的评论会显示在这里
Alt text
Alt text
对这一段的评论会显示在这里

模型下载

对这一段的评论会显示在这里

模型下载

对这一段的评论会显示在这里

hugging face

对这一段的评论会显示在这里

使用huggingface官方提供的huggingface-cli命令行工具。安装依赖:

对这一段的评论会显示在这里
pip install -U huggingface_hub
对这一段的评论会显示在这里

然后新建python文件,填入以下代码,运行即可。

对这一段的评论会显示在这里

resume-download:断点续下
local-dir:本地存储路径。(linux环境下需要填写绝对路径)

对这一段的评论会显示在这里
import os

# 下载模型
os.system('huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path')
对这一段的评论会显示在这里

hugging face 镜像下载

对这一段的评论会显示在这里

与使用hugginge face下载相同,只需要填入镜像地址即可。使用huggingface官方提供的huggingface-cli命令行工具。安装依赖:

对这一段的评论会显示在这里
pip install -U huggingface_hub
对这一段的评论会显示在这里

然后新建python文件,填入以下代码,运行即可。

对这一段的评论会显示在这里

resume-download:断点续下
local-dir:本地存储路径。(linux环境下需要填写绝对路径)

对这一段的评论会显示在这里
import os

# 设置环境变量
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

# 下载模型
os.system('huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path')
对这一段的评论会显示在这里

更多关于镜像使用可以移步至 HF Mirror 查看。

对这一段的评论会显示在这里

modelscope

对这一段的评论会显示在这里

使用modelscope中的snapshot_download函数下载模型,第一个参数为模型名称,参数cache_dir为模型的下载路径。

对这一段的评论会显示在这里

注意:cache_dir最好为绝对路径。

对这一段的评论会显示在这里

安装依赖:

对这一段的评论会显示在这里
pip install modelscope
pip install transformers
对这一段的评论会显示在这里

在当前目录下新建python文件,填入以下代码,运行即可。

对这一段的评论会显示在这里
import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm-chat-7b', cache_dir='your path', revision='master')
对这一段的评论会显示在这里

git-lfs

对这一段的评论会显示在这里

来到git-lfs网站下载安装包,然后安装git-lfs。安装好之后在终端输入git lfs install,然后就可以使用git-lfs下载模型了。当然这种方法需要你有一点点 Magic

对这一段的评论会显示在这里
git clone https://huggingface.co/internlm/internlm-7b
对这一段的评论会显示在这里

Openxlab

对这一段的评论会显示在这里

Openxlab 可以通过指定模型仓库的地址,以及需要下载的文件的名称,文件所需下载的位置等,直接下载模型权重文件。

对这一段的评论会显示在这里

使用python脚本下载模型首先要安装依赖,安装代码如下:pip install -U openxlab 安装完成后使用 download 函数导入模型中心的模型。

对这一段的评论会显示在这里
from openxlab.model import download
download(model_repo='OpenLMLab/InternLM-7b', model_name='InternLM-7b', output='your local path')
对这一段的评论会显示在这里

1.Github提交PR与修改pr

对这一段的评论会显示在这里

部分参考我本人写过的blog---Github提交PR与修改pr

对这一段的评论会显示在这里

1.1 从零开始提issue与pr:

对这一段的评论会显示在这里

一般情况下,第一次提pr都是先提一个issue来描述你的问题或者提议,以确保你的工作符合要求。但这不是必须的,完全可以直接fork仓库并提交pr。提issue很简单,操作如下:

对这一段的评论会显示在这里
img
img
对这一段的评论会显示在这里
img
img
对这一段的评论会显示在这里

fork仓库后,在自己fork的仓库里面进行修改,然后点击自己fork仓库上面的pull request,将你的更改合并到原始仓库中,详情见下:

对这一段的评论会显示在这里

1.2 pr修改与改正

对这一段的评论会显示在这里

在fork里面进行修改操作操作:此时你fork完repo,并且在你本地已经将想PR的文件进行了更改后:

对这一段的评论会显示在这里

1.2.1 新建文件夹与增删减改---图形界面版本

对这一段的评论会显示在这里
img
img
对这一段的评论会显示在这里

写好文件夹名,然后按'/'这个键,自动就生成了一个文件夹,然后在里面创建一个readme即可,(后面也能删了)

对这一段的评论会显示在这里
img
img
对这一段的评论会显示在这里

在文件夹里面上传本地写好的东西直接点这个upload即可

对这一段的评论会显示在这里
img
img
对这一段的评论会显示在这里

想删除里面的某个文件夹或者里面的某个文件直接点这三个点,然后相应delete即可:

对这一段的评论会显示在这里
img
img
对这一段的评论会显示在这里

1.2.2 新建文件夹与增删减改---Git版本

对这一段的评论会显示在这里

'your/folk_repo_utl'查看方法:

对这一段的评论会显示在这里
img
img
对这一段的评论会显示在这里
git clone 'your/folk_repo_utl'  # 克隆到本地
cd /path/to/your/local/folder  # 进入你的本地文件夹
对这一段的评论会显示在这里

此处你可以在fork好的本地仓库进行增删减改操作
增删减改之后:

对这一段的评论会显示在这里

在此处要使用git bash

对这一段的评论会显示在这里
img
img
对这一段的评论会显示在这里
git init  # 初始化为 Git 仓库  

git add .  # 添加文件夹中的所有文件到暂存区  
git commit -m "Added new folder"  # 替换为你的提交信息  

git remote add origin 'your/folk_repo_utl'  # 将本地仓库关联到已有的远程仓库  
git push -u origin master  # 推送到远程仓库的 master 分支  
对这一段的评论会显示在这里

此时已经将本地修改好的仓库更新推送到fork仓库中。

对这一段的评论会显示在这里

1.3 pr提交

对这一段的评论会显示在这里

从自己的fork仓库里面提pr

对这一段的评论会显示在这里

提pr的话,从自己fork里面,选择上面的new pull requests开始提,注意看好base和head对应的仓库名,base是接受的原库,head是自己更改好的fork,然后提交即可

对这一段的评论会显示在这里
img
img
对这一段的评论会显示在这里
img
img
对这一段的评论会显示在这里

1.4 补充

对这一段的评论会显示在这里

如果之前的repo已经有更新,但是你fork的时候没有拉取最新的更新:

对这一段的评论会显示在这里
git remote add upstream https://github.com/original-owner/original-repository.git  
# 将原作者的仓库添加为远程仓库
git fetch upstream  # 将原仓库拉取更新
git checkout master  # 切换到master分支
git merge upstream/master  # 合并原作者的仓库的更新
git push origin master  # 将合并后的代码推送到自己的仓库
对这一段的评论会显示在这里

1.5 注意

对这一段的评论会显示在这里

有时候在push的时候连接犯病,我们可以用ssh

对这一段的评论会显示在这里
git remote add origin git@github.com:username/repo.git
对这一段的评论会显示在这里

然后再push就可以了。

对这一段的评论会显示在这里

1.6总结提交pr操作

对这一段的评论会显示在这里

如果已经在fork的仓库中更新了文件,想要想原始仓库提交pr:

对这一段的评论会显示在这里

1.打开fork仓库,在页面顶部找到Pull requests标签,点击。

对这一段的评论会显示在这里

2.在右上角点击New pull request按钮。

对这一段的评论会显示在这里

3.在Comparing changes页面,会看到两个下拉菜单,左侧显示的是你fork仓库,右边是原始仓库,确保选择了正确的仓库,并选择要提交的分支(通常是master).

对这一段的评论会显示在这里

4.点击Create pull request按钮,并填写一个简短的标题和描述,描述修改。

对这一段的评论会显示在这里

5.确认无误后,点击Create pull request提交PR

对这一段的评论会显示在这里