用colab 跑ollama很简单

[webdriver]

但问题是：系统提示我设置了gpu，但是没有使用，咋回事？

[webdriver]

这个如何？真让它给整出这么一大坨

[huangchong]

这个如何？真让它给整出这么一大坨

这么慢 看起来确实是没有用上gpu

你可以nvitop 用它来监视gpu的使用情况 在terminal里打pip install nvitop既可安装

[huangchong]

这个如何？真让它给整出这么一大坨

不对， 右边ollama的输出里说了它确实在用T4 GPU 会不会是你用的网络比较大 它塞不进显存？

修正：ollama log里确实也说了用了13.2G 显存 为啥用了3分就不知道了 也许第一次load有overhead？

[huangchong]

哦 你叫他拿JavaScript写游戏 这样欺负他 那3分钟应该合理

[webdriver]

哦 你叫他拿JavaScript写游戏 这样欺负他 那3分钟应该合理

[GreatCanada]

要用GPU，得去右上方Change runtime type 那里，把cpu session改成gpu session

1 打开colab，点页面左下的Terminal按钮，右边会打开一个terminal，可以在里面试试看colab给你多少空间，我的/content还有70G剩余，绰绰有余了

代码： 全选

df -h

2 打如下命令，自动安装ollama

代码： 全选

curl https://ollama.ai/install.sh | sh

3 打如下命令，开启ollama 网络服务

代码： 全选

ollama serve & 

4 打如下命令，下载openAI的gpt－oss模型（我试过，又快又好），下载大小13G

代码： 全选

ollama pull gpt-oss

下载deepseek 14b (32b的有19G VRAM不足会很慢)

代码： 全选

ollama pull deepseek-r1

5 安装 python 的ollama 包（这个包目的是跟服务器通信，发送请求，然后打印LLM的输出）

代码： 全选

pip install ollama

6 清空左边的colab notebook，在左边开一个新格子，运行这句话

代码： 全选

import ollama

7 开始对话

gpt-oss:

代码： 全选

response = ollama.generate(model='gpt-oss', prompt='how to use ollama in colab')
print(response['response'])

deepseek-r1

代码： 全选

response = ollama.generate(model='deepseek-r1', prompt='how to use ollama in colab')
print(response['response'])

能用TPU跑吗

[huangchong]

能用TPU跑吗

试了一下 不行
Ollama does not officially support TPUs (Tensor Processing Units) at this time. It is primarily designed to use Nvidia or AMD GPUs for hardware acceleration.