pip、conda换源
pip、conda 换源
pip 换源
临时使用镜像源安装,如下所示:some-package 为你需要安装的包名
pip install -i https://mirrors.cernet.edu.cn/pypi/web/simple some-package
设置pip默认镜像源,升级 pip 到最新的版本 (>=10.0.0) 后进行配置,如下所示:
python -m pip install --upgrade pip
pip config set global.index-url https://mirrors.cernet.edu.cn/pypi/web/simple
如果您的 pip 默认源的网络连接较差,临时使用镜像源升级 pip:
python -m pip install -i https://mirrors.cernet.edu.cn/pypi/web/simple --upgrade pip
conda 换源
镜像站提供了 Anaconda 仓库与第三方源(conda-forge、msys2、pytorch 等,各系统都可以通过修改用户目录下的 .condarc 文件来使用镜像站。
不同系统下的.condarc目录如下:
Linux: ${HOME}/.condarc
macOS: ${HOME}/.condarc
Windows: C:\Users\.condarc
注意:
Windows 用户无法直接创建名为 .condarc 的文件,可先执行 conda config --set show_channel_urls yes 生成该文件之后再修改。
快速配置
cat <<'EOF' > ~/.condarc
channels:
- defaults
show_channel_urls: true
default_channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
EOF
AutoDL开放端口
AutoDL 开放端口
将 autodl的端口映射到本地的 http://localhost:6006 仅在此处展示一次,以下两个 Demo 都是同样的方法把 autodl中的 6006端口映射到本机的 http://localhost:6006的方法都是相同的,方法如图所示。
模型下载
模型下载
hugging face
使用huggingface官方提供的huggingface-cli命令行工具。安装依赖:
pip install -U huggingface_hub
然后新建python文件,填入以下代码,运行即可。
resume-download:断点续下
local-dir:本地存储路径。(linux环境下需要填写绝对路径)
import os
# 下载模型
os.system('huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path')
hugging face 镜像下载
与使用hugginge face下载相同,只需要填入镜像地址即可。使用huggingface官方提供的huggingface-cli命令行工具。安装依赖:
pip install -U huggingface_hub
然后新建python文件,填入以下代码,运行即可。
resume-download:断点续下
local-dir:本地存储路径。(linux环境下需要填写绝对路径)
import os
# 设置环境变量
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
# 下载模型
os.system('huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path')
modelscope
使用modelscope中的snapshot_download函数下载模型,第一个参数为模型名称,参数cache_dir为模型的下载路径。
注意:cache_dir最好为绝对路径。
安装依赖:
pip install modelscope
pip install transformers
在当前目录下新建python文件,填入以下代码,运行即可。
import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm-chat-7b', cache_dir='your path', revision='master')
git-lfs
git clone https://huggingface.co/internlm/internlm-7b
Openxlab
Openxlab 可以通过指定模型仓库的地址,以及需要下载的文件的名称,文件所需下载的位置等,直接下载模型权重文件。
使用python脚本下载模型首先要安装依赖,安装代码如下:pip install -U openxlab 安装完成后使用 download 函数导入模型中心的模型。
from openxlab.model import download
download(model_repo='OpenLMLab/InternLM-7b', model_name='InternLM-7b', output='your local path')
1.Github提交PR与修改pr
1.1 从零开始提issue与pr:
一般情况下,第一次提pr都是先提一个issue来描述你的问题或者提议,以确保你的工作符合要求。但这不是必须的,完全可以直接fork仓库并提交pr。提issue很简单,操作如下:
fork仓库后,在自己fork的仓库里面进行修改,然后点击自己fork仓库上面的pull request,将你的更改合并到原始仓库中,详情见下:
1.2 pr修改与改正
在fork里面进行修改操作操作:此时你fork完repo,并且在你本地已经将想PR的文件进行了更改后:
1.2.1 新建文件夹与增删减改---图形界面版本
写好文件夹名,然后按'/'这个键,自动就生成了一个文件夹,然后在里面创建一个readme即可,(后面也能删了)
在文件夹里面上传本地写好的东西直接点这个upload即可
想删除里面的某个文件夹或者里面的某个文件直接点这三个点,然后相应delete即可:
1.2.2 新建文件夹与增删减改---Git版本
'your/folk_repo_utl'查看方法:
git clone 'your/folk_repo_utl' # 克隆到本地
cd /path/to/your/local/folder # 进入你的本地文件夹
此处你可以在fork好的本地仓库进行增删减改操作
增删减改之后:
在此处要使用git bash:
git init # 初始化为 Git 仓库
git add . # 添加文件夹中的所有文件到暂存区
git commit -m "Added new folder" # 替换为你的提交信息
git remote add origin 'your/folk_repo_utl' # 将本地仓库关联到已有的远程仓库
git push -u origin master # 推送到远程仓库的 master 分支
此时已经将本地修改好的仓库更新推送到fork仓库中。
1.3 pr提交
从自己的fork仓库里面提pr
提pr的话,从自己fork里面,选择上面的new pull requests开始提,注意看好base和head对应的仓库名,base是接受的原库,head是自己更改好的fork,然后提交即可
1.4 补充
如果之前的repo已经有更新,但是你fork的时候没有拉取最新的更新:
git remote add upstream https://github.com/original-owner/original-repository.git
# 将原作者的仓库添加为远程仓库
git fetch upstream # 将原仓库拉取更新
git checkout master # 切换到master分支
git merge upstream/master # 合并原作者的仓库的更新
git push origin master # 将合并后的代码推送到自己的仓库
1.5 注意
有时候在push的时候连接犯病,我们可以用ssh
git remote add origin git@github.com:username/repo.git
然后再push就可以了。
1.6总结提交pr操作
如果已经在fork的仓库中更新了文件,想要想原始仓库提交pr:
1.打开fork仓库,在页面顶部找到Pull requests标签,点击。
2.在右上角点击New pull request按钮。
3.在Comparing changes页面,会看到两个下拉菜单,左侧显示的是你fork仓库,右边是原始仓库,确保选择了正确的仓库,并选择要提交的分支(通常是master).
4.点击Create pull request按钮,并填写一个简短的标题和描述,描述修改。
5.确认无误后,点击Create pull request提交PR