AutoDL百川大模型体验

感谢AutoDL和CodeWithGPU这两个平台，让我们能低成本，低门槛地部署体验这些大模型

镜像克隆

• 我是在CodeWithGPU上克隆的这个镜像

模型下载

• codewithgpu有介绍
  
  注意这三个文件都需要下载
  把那个"客户端下载"里面的命令复制到终端里面，执行即可

  

测试效果

• 然后切回这个路径，运行demo
  
  运行之前要先打开“自定义服务”，网页版运行命令为

  streamlit run web_demo.py --server.port 6006
  

AutoDL自定义服务

• 上次写的那个autodl初体验那个是租的西北A区的卡，那个可以有一个公网IP

• 这次租的是北京的卡，只能ssh，然后本地访问
  
  访问方式B站给了个教程：
  https://www.bilibili.com/video/BV1Pk4y1w7Pk/?vd_source=0e8431ba6fd78bb2215c36307a75ac1a

• 如何查看端口情况

  sudo apt-get update
  sudo apt-get install iproute2
  ss -tuln
  

  或

  sudo apt-get update
  sudo apt-get install net-tools
  netstat -tuln