date
slug
status
tags
type
类型
summary

前言

前两天微软发布了phi3大模型,是目前少数可以在移动设备上运行的本地语言模型,号称可以和ChatGPT-3.5相当,仅3.8亿参数
本文将教你如何在本地部署这个大模型,利用闲置的手机,并且让公网的设备也能远程访问

Step 0: Termux下载安装

需要注意的是不要从play上下载termux,否则会出现报错,应该从F-droid上下载安装
换源:
因为你懂的原因,需要把软件源换成国内源
清华源的文档里写的很清楚:
图形界面(TUI)替换:在 Termux 中执行如下命令
在图形界面引导下,使用自带方向键可上下移动。
第一步使用空格选择需要更换的仓库,之后在第二步选择 TUNA/BFSU 镜像源。确认无误后回车,镜像源会自动完成更换。

Step 1: Ollama部署

安装依赖

这个时候ollama已经在11434端口运行了

Step 2: 使用Ngrok部署到公网

我看的ollama mac server的教程用的Ngrok,查了一下有人做了termux的
长按屏幕左上角,新建一个termux session
命令复制粘贴就行,没有难度

Step 3: 获取绑定token

在ngrok官网注册账号,会获得一个token
然后在termux绑定
这一步可能会报错,不用管,这个时候已经绑上了

Step 5: 部署到公网

执行:
ollama默认是11434端口,如果你不确定就再执行一下./ollama serve ,会告诉你11434 already in use
然后就会得到一个url,termux上因为手机分辨率的问题可能看不清楚
这个时候别慌,打开ngrok dashboard,endpoints,里面有url
notion image
然后如果你有ios/mac设备的话去app store下一个Enchanted,按这个填就行
notion image

FAQ:

  1. Android/其他设备怎么使用?
ollama是支持openai格式的调用,所以使用任意第三方客户端或者web客户端即可
这里推荐使用ChatGPT-Next-Web,一个纯前端的web客户端
repo里有演示网页,可以将演示网页保存为pwa应用使用
此外,推荐使用oneapi对你当前手上的api进行管理,oneapi可以将多个api整合和负载,并且整理为openai格式的api
  1. 生成速度过慢
如果设备性能不足的话跑不动很正常,建议最好870以上的,8G以上运行内存的设备
当然你还有其他模型可以玩,比如说qwen:1.8b,tinyllama等等,在本地移动设备的支持都是很好的
可能是全网第一个粤语Qwen/从零开始的LLM微调教程深圳·香港·澳门一星期单人行小记
Loading...
Steven Lynn
Steven Lynn
喂马、劈柴、周游世界
最新发布
我与 Dify 的半年
2025-3-9
我的2022年终小结
2024-11-9
记录雅思考试经历与一点学习心得
2024-11-9
Hackergame 2024 思路小结
2024-11-9
黑客松、日本、入职:我的2024下半年的总结
2024-11-9
NotionNext:基于Notion和NextJS的开源博客
2024-11-9