用colab 跑ollama很简单

[huangchong]

还不是第3步

第2步

代码： 全选

curl https://ollama.ai/install.sh | sh

就开始出错了

打完 nvidia smi

是

-bash: nvidia: command not found

骚瑞，我打错了命令 是 nvidia-smi

[majia]

骚瑞，我打错了命令 是 nvidia-smi

貌似有给到 GPU

不过 ollama 部署貌似有问题

t# Couldn't find '/root/.ollama/id_ed25519'. Generating new private key.

[huangchong]

还不是第3步

第2步

代码： 全选

curl https://ollama.ai/install.sh | sh

就开始出错了

打完 nvidia smi

是

-bash: nvidia: command not found

那你试试开一个新的colab窗口看看呢？colab关了以后硬盘就重置到标准状态，我能够直接装ollama，你应该也可以的 啊，我什么也没干就成功了呀。
我的bash命令历史 (nvitop是个python程序，可以动态显示gpu使用情况，实际是nvidia-smi的一个壳）：

代码： 全选

    1  curl https://ollama.ai/install.sh | sh
    2  ollama serve
    3  ollama serve&
    4  ollama pull deepseek-r1
    5  pip install ollama
    6  pip install nvitop
    7  ollama list
    8  ollama list
    9  nvitop
   10  ollama help
   11  ollama rm deepseek
   12  ollama rm deepseek-r1
   13  ollama pull deepseek-r1:32b
   14  ollama pull qwen3
   15  ollama pull gpt-oss
   16  which ollama
   17  cd /root/.ollama/
   18  ll
   19  cat id_ed25519
   20  nvidia-smni
   21  nvidia-smi
   22  hisotry
   23  history

[thinredline]

有好多服务一年30刀可以用很多模型，干嘛这么cheap。

[majia]

我貌似运行到了第6步

怎么清空左边的colab notebook？

又在左边开个什么新格子？

[huangchong]

我貌似运行到了第6步

怎么清空左边的colab notebook？

又在左边开个什么新格子？

不用清空，就在左边开一个新的block，往里写程序就行。

我说清空，是因为左边经常是colab的文档页，看起来很乱。清空的意思就是把鼠标移动到右上，点删除按钮，把已有的内容删了，有个干净的开始（Ctrl+M D)

[huangchong]

我貌似运行到了第6步

怎么清空左边的colab notebook？

又在左边开个什么新格子？

o 你左边已经是空的，直接写python就行了。

[huangchong]

有好多服务一年30刀可以用很多模型，干嘛这么cheap。

主要是为了玩玩本地模型，又不想买gpu。

[majia]

不用清空，就在左边开一个新的block，往里写程序就行。

我说清空，是因为左边经常是colab的文档页，看起来很乱。清空的意思就是把鼠标移动到右上，点删除按钮，把已有的内容删了，有个干净的开始（Ctrl+M D)

完了

（Ctrl+M D) 后

貌似断线了

右边的terminal 被清空了

[majia]

这番操作下来

是不是最终可以部署 deepseek?

deepseek 我以前用ollama 本地部署过

就是聊聊天

ollama 的使用还是比较进阶的 需要有一定的编码基础

我玩转不来

[huangchong]

完了

（Ctrl+M D) 后

貌似断线了

右边的terminal 被清空了

估计是Ctrl MD也删terminal窗口把。
你再开个terminal 打 ollama list，看ollama还在不在 下载的model还在不在

我的窗口关了又开好像内容还在
不过你重新来也花不了几分钟的

[huangchong]

这番操作下来

是不是最终可以部署 deepseek?

deepseek 我以前用ollama 本地部署过

就是聊聊天

小号的deepseek是可以的

你ollama pull deepseek，应该就是下载一个5G多大小的 deepseek-r1:14b

如果非要下载32b就是
ollama pull deepseek-r1:32b

不过 deepseek-r1:32b模型有19G大，超过VRAM大小，估计跑不快

[majia]

估计是Ctrl MD也删terminal窗口把。
你再开个terminal 打 ollama list，看ollama还在不在 下载的model还在不在

我的窗口关了又开好像内容还在
不过你重新来也花不了几分钟的

不知道是啥

这个？

[majia]

第5步之后就不知道怎么弄了

/content# response = ollama.generate(model='deepseek-r1', prompt='how to use ollama in colab')
print(response['response'])
-bash: syntax error near unexpected token ('
-bash: syntax error near unexpected tokenresponse['response']'

[huangchong]

第5步之后就不知道怎么弄了

/content# response = ollama.generate(model='deepseek-r1', prompt='how to use ollama in colab')
print(response['response'])
-bash: syntax error near unexpected token ('
-bash: syntax error near unexpected tokenresponse['response']'

这些是python
得在左边的notebook方框里（左边有播放键的那个地方）写，写完了按播放键就可以跑:

代码： 全选

import ollama
response = ollama.generate(model='gpt-oss', prompt='how to use ollama in colab')
print(response['response'])

有/content那个地方是terminal，不能搞这个

[huangchong]

不知道是啥

这个？

这个是对的，你的ollama安装正确，gpt-oss网络也下载好了，准备运行了

[webdriver]

如果连majia凶都可以跑LLM，咱不去试一试有点说不过去了，明天，一定玩一玩

[majia]

如果连majia凶都可以跑LLM，咱不去试一试有点说不过去了，明天，一定玩一玩

这colab我玩转不来，之前用LLM部署过一次Deepseek, 也仅仅如此，其他的也弄不了

[huangchong]

这colab我玩转不来，之前用LLM部署过一次Deepseek, 也仅仅如此，其他的也弄不了

咋叫玩转不来呢，你都装好了呀

[webdriver]

蝗凶的guide很容易就复现了哎，本人第一个“local” LLM 跑起来了