前言

AI走进普通开发者的这两年,各类大模型层出不穷,日常可以通过cursor等工具使用,但要尝试api调用还挺麻烦的,国外的模型往往限制国内地址使用(开梯子去跑,hhhhhh裸奔更不愿意了),而国内的模型,有一说一,不想用也不敢用(虽然也没什么值得偷的 hhhhhh),所以在AI方面的探索一直用一些开源的小模型,例如 deepseek-r1-7b,Qwen2.5-4B等等,说实话不够用,做一些AI相关的任务时,总是答非所问,或者答着答着就跑偏了。例如做的国际化MCP服务,它不按指定格式输出。例如最近的openclaw,它总是想调用tts功能,直接卡死在对话的第一步。
但这是不是意味着小模型就没法用呢?
这几天Qwen3.5发布了,这几天有空在笔记本上跑了下9B:Q4_K_M,感觉还可以,下面大概说一下。

介绍

配置

设备:MAC M2芯片 16G内存。 模型:Qwen3.5:9B:Q4_K_M 运行方式:ollama

测试项目

  1. 国际化MCP服务 使用该模型对文本进行提取判断,并翻译到指定语言。
    评价:对一个4个文件,11条文本的任务,10/11的正确率,并生成了符合上下文的key,并翻译出对应语言的文本,感觉比之前的ds:r1-7b要强的多啊!但有个问题,当进行到翻译阶段时,任务耗时会特别长,导致请求超时。把同样的prompt复制到ollama的对话框,11条文本的json,翻译花了328s(这我是真不懂了,有必要吗…)。

    满意度:3.5/5

  2. coder功能 在vscode上调用该模型做coder。
    尝试编写一些简单的react hook,能够正常生成,响应速度比想象的要快一些。但是为什么总是不能直接写入文件呢?答案已经生成了,一到 read “file path” 就卡住。然后重复写入命令,有时可以,有时失败,有点无奈。

    满意度:2.5/5

  3. openclaw 本地docker部署openclaw,使用飞书机器人向openclaw发送指令。整体反应速度较慢,有时能正常对话,有时对话进行几轮就会失忆,时不时出现卡顿。只能说,能用。想体验本地部署模型运行openclaw的朋友可以试试,正常跑起来16G运存绰绰有余。

    满意度:3/5

对openclaw的想法

想法1:openclaw的能力在于人能通过远程命令通知openclaw执行操作,过去数十年积累的网络能力都能为它所用,听起来很强大,感觉对日常需要高度自动化的场景很有帮助,例如看盘hhhhhh,可能是还没有一个更适用的大环境,一些常见场景没有标准化,或者缺乏一个更标准化的入口。

用了以后感觉风险挺大的,例如我通过环境变量注入一个api key,感觉就在裸奔。如果我有一个强大的本地AI服务,我可能会去使用,但是模型太弱,或者外部模型,可能就不太想用。还有就是我只会通过沙盒去运行它。(低风险爱好者hhhhhh)。

至于最近这股子妖风,肯定是有人在吹,连老妈都知道大龙虾了🙄。一波入口争夺战,加上AI变现渠道。服务器赢,AI厂商赢,平台赢,用户赢,那谁输,被焦虑吹的头皮发麻的人输输输 hhhhhhh。

想法2:当我一个identity.md复制出来,重置项目,再重新设置agent时,感觉有点“奇怪”,把记忆模块中拔出来,再插入新的身体,新的Marcus是上一个Marcus吗?忒修斯之船。

就像前几天看的2010里的Hal,一个个芯片拔下来,Hal逐渐失去能力,伴随着Hal的声音逐渐消逝,仿佛Hal被杀死了,杀死一个智能体和普通的杀害区别是什么,当智能体越来越智能,/remove、/delete、/reset、/forget这些指令难免不会让人感到残忍。后面随着博士一块块插上,Hal仿佛又恢复了往日的智能,清晰的声音从电脑里传出,此刻的Hal是过去的Hal吗?不知道啊。有点能体会博士的心态了。

以后会不会有一门课程叫“AI社会学”,教教人们怎么和AI相处。

总结

总体来说,Qwen3.5:9B:Q4_K_M还是不错的(对比用过的其他小模型),能用,一些需要用AI跑起来的任务,可以尝试用它来运行,做开始的探索。等一波MAC改屏幕买一台大运存的再来跑跑更大一些的模型看看吧。