关于11月24日~11月30日中遇到的问题
llm的本地部署
如何选择本地大模型的推理框架app？（11月24日）٩(•̤̀ᵕ•̤́๑)ᵒᵏᵏᵎᵎᵎᵎ
- 最后选择了LM Studio
| 推理框架的对比 | 自己个人理解（缺点） | 优点 | 进度 |
|---|---|---|---|
| vllm推理框架 | 采用huggingface下载需要魔法；docker拉取image时也需要魔法； 运用较为复杂（推进采用先在本地下载好模型后，挂载的方式，推入到容器中运行）； wsl2的方式来吸取可能导致，硬件的限制 |
支持docker部署；模型种类丰富；支持api调用；更适合工业部署； | 成功部署过《mistralai/Mistral-7B-v0.1》，但遗憾的是显存爆了 |
| ollma推理框架 | 部署起来也偏简答，运用不复杂；模型较笨 | 部署简答使用方便； | 成功安装过deepseek，但是太笨了； |
| LM Studio推理框架 | 模型种类较少、门类较少 | 下载模型简单，且在国内下载模型无网络限制； 自动检测你的gpu、cpu以及下载好的cuda的驱动； |
完成模型的下载好部署，并成功在pycharm中调用api |
如何在本地大模型中加入mcp的服务？（11月26日）٩(•̤̀ᵕ•̤́๑)ᵒᵏᵏᵎᵎᵎᵎ
- 在环境中安装好必要的库后，编辑好mcp.json即可，可以通过询问大模型（支持工具调用的模型）的方式来问它是否能，使用mcp的服务
ai辅助
为什么cherry_studio中大语言模型的联网搜索内容不准确？（11月26日）٩(•̤̀ᵕ•̤́๑)ᵒᵏᵏᵎᵎᵎᵎ
- 这与cherry_studio中模型内置的搜索有关，可以优先使用模型自带的联网搜索功能，或者用mcp的搜索服务
课题组网站
关于学习的思考
如何避免在听课（知识输入）太过于关心记录，而造成知识点的略过，产生一种，只见树木不见树林的学习窘境？（11月25日）
- 以下两个任务正在完成中
[[s5e11]]
[[课题组网站]]