您尚未登录。

楼主 # 2025-02-02 10:29:06

memory
会员
注册时间: 2021-08-11
已发帖子: 529
积分: 501

十年前的GTX1060笔记本电脑也能跑DeepSeek-R1 1.5B小模型

① 打开 ollama download 下载对应的版本,直接安装到电脑

② Windows打开PowerShell,输入 ollama run deepseek-r1:1.5b,等待模型下载完,就可以直接在PowerShell提问了!


就是这么简单!

离线

楼主 #1 2025-02-02 10:35:02

memory
会员
注册时间: 2021-08-11
已发帖子: 529
积分: 501

Re: 十年前的GTX1060笔记本电脑也能跑DeepSeek-R1 1.5B小模型

如果电脑没有Nvidia显卡,那么就可能会这样:

PS C:\Users\> ollama run deepseek-r1:1.5b
pulling manifest
pulling aabd4debf0c8... 100% ▕████████████████████████████████████████████████████████▏ 1.1 GB
pulling 369ca498f347... 100% ▕████████████████████████████████████████████████████████▏  387 B
pulling 6e4c38e1172f... 100% ▕████████████████████████████████████████████████████████▏ 1.1 KB
pulling f4d24e9138dd... 100% ▕████████████████████████████████████████████████████████▏  148 B
Error: Post "http://127.0.0.1:11434/api/show": dial tcp 127.0.0.1:11434: connectex: No connection could be made because the target machine actively refused it.
PS C:\Users\>
PS C:\Users\>
PS C:\Users\>

server.log

2025/02/02 10:20:44 routes.go:1187: INFO server config env="map[CUDA_VISIBLE_DEVICES: GPU_DEVICE_ORDINAL: HIP_VISIBLE_DEVICES: HSA_OVERRIDE_GFX_VERSION: HTTPS_PROXY: HTTP_PROXY: NO_PROXY: OLLAMA_DEBUG:false OLLAMA_FLASH_ATTENTION:false OLLAMA_GPU_OVERHEAD:0 OLLAMA_HOST:http://127.0.0.1:11434 OLLAMA_INTEL_GPU:false OLLAMA_KEEP_ALIVE:5m0s OLLAMA_KV_CACHE_TYPE: OLLAMA_LLM_LIBRARY: OLLAMA_LOAD_TIMEOUT:5m0s OLLAMA_MAX_LOADED_MODELS:0 OLLAMA_MAX_QUEUE:512 OLLAMA_MODELS:C:\\Users\\86135\\.ollama\\models OLLAMA_MULTIUSER_CACHE:false OLLAMA_NOHISTORY:false OLLAMA_NOPRUNE:false OLLAMA_NUM_PARALLEL:0 OLLAMA_ORIGINS:[http://localhost https://localhost http://localhost:* https://localhost:* http://127.0.0.1 https://127.0.0.1 http://127.0.0.1:* https://127.0.0.1:* http://0.0.0.0 https://0.0.0.0 http://0.0.0.0:* https://0.0.0.0:* app://* file://* tauri://* vscode-webview://*] OLLAMA_SCHED_SPREAD:false ROCR_VISIBLE_DEVICES:]"
time=2025-02-02T10:20:44.486+08:00 level=INFO source=images.go:432 msg="total blobs: 4"
time=2025-02-02T10:20:44.561+08:00 level=INFO source=images.go:439 msg="total unused blobs removed: 4"
time=2025-02-02T10:20:44.561+08:00 level=INFO source=routes.go:1238 msg="Listening on 127.0.0.1:11434 (version 0.5.7)"
time=2025-02-02T10:20:44.562+08:00 level=INFO source=routes.go:1267 msg="Dynamic LLM libraries" runners="[cpu cpu_avx cpu_avx2 cuda_v11_avx cuda_v12_avx rocm_avx]"
time=2025-02-02T10:20:44.562+08:00 level=INFO source=gpu.go:226 msg="looking for compatible GPUs"
time=2025-02-02T10:20:44.562+08:00 level=INFO source=gpu_windows.go:167 msg=packages count=1
time=2025-02-02T10:20:44.562+08:00 level=INFO source=gpu_windows.go:214 msg="" package=0 cores=8 efficiency=0 threads=16
time=2025-02-02T10:20:44.572+08:00 level=INFO source=gpu.go:392 msg="no compatible GPUs were discovered"
time=2025-02-02T10:20:44.572+08:00 level=INFO source=types.go:131 msg="inference compute" id=0 library=cpu variant=avx2 compute="" driver=0.0 name="" total="63.8 GiB" available="36.5 GiB"

离线

楼主 #2 2025-02-02 10:35:15

memory
会员
注册时间: 2021-08-11
已发帖子: 529
积分: 501

Re: 十年前的GTX1060笔记本电脑也能跑DeepSeek-R1 1.5B小模型

QQ20250202-103230.png

QQ20250202-103258.png

离线

楼主 #4 2025-02-04 09:45:44

memory
会员
注册时间: 2021-08-11
已发帖子: 529
积分: 501

Re: 十年前的GTX1060笔记本电脑也能跑DeepSeek-R1 1.5B小模型

7b 模型也可以运行,ollama run deepseek-r1:7b

496549c1c6c8fd3c0c96063a46de7fba.png

7b 模型也可以运行,ollama run deepseek-r1:7b

离线

#5 2025-02-07 09:56:50

达克罗德
会员
注册时间: 2018-04-10
已发帖子: 1,139
积分: 1091.5

Re: 十年前的GTX1060笔记本电脑也能跑DeepSeek-R1 1.5B小模型

token速率如何?

离线

楼主 #6 2025-02-07 10:28:23

memory
会员
注册时间: 2021-08-11
已发帖子: 529
积分: 501

Re: 十年前的GTX1060笔记本电脑也能跑DeepSeek-R1 1.5B小模型

达克罗德 说:

token速率如何?

可能还没 百岁老头说话速度快

离线

楼主 #7 2025-02-09 19:48:56

memory
会员
注册时间: 2021-08-11
已发帖子: 529
积分: 501

Re: 十年前的GTX1060笔记本电脑也能跑DeepSeek-R1 1.5B小模型

f0f140844746cf911c593119891278c.png

运行 ollama run deepseek-r1:7b 时候,可以看到GPU内存从 0 到 4.4G。

离线

页脚

工信部备案:粤ICP备20025096号 Powered by FluxBB

感谢为中文互联网持续输出优质内容的各位老铁们。 QQ: 516333132, 微信(wechat): whycan_cn (哇酷网/挖坑网/填坑网) service@whycan.cn