2024工作周期安排
2024项目整体规划
沐曦测试(已完成)
沐曦性能测试研究
沐曦Benchmark相关测试
沐曦模型适配表
2024-02-26沐曦沟通报告
智能打标
数据打标服务Json样例
智能打标寒武纪大模型思路
业务层优先级排序
智能打标流程图
打标API接口文档
图像内容识别
其他
申报项目文本段落
研发链相关资料文档
国产GPU虚拟化培训介绍
大模型比赛
相关资料
智能填单_填单 启动命令
2024私人规划
ChatGPT API账号记录
公众号相关资料
基于 Docker 的深度学习环境:入门篇
ollama
Ollama
-
+
首页
Ollama
![image-20240731093109161](https://yg9538.kmgy.top/202407310943434.png) 图片由 AI 生成,作者 # #1 为什么选择本地法学硕士 毫无疑问,ChatGPT 很棒,但它有一个明显的缺点:您编写或上传的所有内容都存储在 OpenAI 的服务器上。尽管这在许多情况下可能很好,但在处理敏感数据时,这可能会成为一个问题。 出于这个原因,我开始探索可以在个人计算机上本地运行的开源 LLM。事实证明,它们之所以出色,实际上还有更多原因。 1**. 数据隐私**:您的信息保留在您的机器上。 2.**成本效益**高:没有订阅费或API费用,可以免费使用。 3**. 定制**:模型可以根据您的特定系统提示或数据集进行微调。 4**.离线功能**:无需互联网连接。 5. **无限制使用**:不受外部 API 的限制。 > 现在,设置本地 LLM 非常简单。本文提供了一个分步指南,以帮助你在本地计算机上安装和运行开源模型。 让我们开始吧! # #2 安装 Ollama 并运行 Llama 3 Ollama 是一个开源项目,允许在个人计算机上轻松运行本地大型语言模型 (LLM)。 它以非常人性化、超轻量级而闻名,并提供各种不同的预训练模型——包括 Meta (Llama 3) 和 Google (Gemma 2) 的最新和最伟大的模型。 所有这些公司都花费了数百万美元来训练这些模型,以便我们可以在自己的机器上本地使用它们。是不是很神奇? Ollama 本身只不过是一个空壳,需要一个现成的 LLM 才能发挥作用。 在深入研究安装过程之前,让我们先看一下可用的模型: ![image-20240731094731130](https://yg9538.kmgy.top/202407310947224.png) Ollama 中可用模型的非详尽列表 — 截图自 Ollama.com 还有更多! 出于本文的目的,我重点介绍了 Meta 的最新模型,称为 Llama 3,它承诺了惊人的性能。在撰写本文时,它是平台上最受欢迎的型号,拉力为 4.4M。 ![image-20240731094738499](https://yg9538.kmgy.top/202407310947572.png) Llama 3 模型 — 截图自 Ollama.com 以下步骤展示了如何在您的计算机上安装 Ollama,用 Llama3 喂养它,并最终像使用 ChatGPT 一样使用该模型。 **步骤 1/2:** 1。转到 ollama.com 并单击“*下载*”——我使用的是 macOS,因此我将在本教程的其余部分重点介绍此选项,尽管它与 Linux 或 Windows 应该没有太大区别。 2. 点击“*下载macOS版*”。 ![image-20240731094751696](https://yg9538.kmgy.top/202407310947809.png) 第 1 步和第 2 步 — Ollama.com 的屏幕截图 **步骤3/4/5:** 与任何其他应用程序一样,只需按照非常简单的安装步骤操作即可。 3. 点击“*安装*”。 4. 点击“*下一步*”。 5. 在您的终端中运行“*ollama run llama3*”。 ![image-20240731094800566](https://yg9538.kmgy.top/202407310948654.png) 第 3、4 和 5 步 — Ollama.com 的屏幕截图 最后一步将首先在您的计算机上下载llama3的8B版本(约4.7GB),然后运行它。就这么简单! ![image-20240731094811914](https://yg9538.kmgy.top/202407310948003.png) 下载并运行 Llama 3 — 图片由 Author 提供 这篇文章可以就到此为止。 只需点击几下,再写一行代码,我们就在本地运行一个 LLM! 你可以问它任何事情,比如解释 Llama 3 的 80 亿和 700 亿参数版本之间的差异。 ![image-20240731094821401](https://yg9538.kmgy.top/202407310948506.png) llama3 的示例提示 — 图片由作者提供 模型的响应时间通常取决于计算机的 GPU/RAM。 # #3 一些有用的命令 如果您想继续在终端中本地使用 LLM,那么似乎必须牢记一些基本命令: - **ollama run llama3** 运行模型,本例中为 llama3 - **ollama 列表** 列出本地已安装的所有模型 - **ollama pull mistral** 拉动平台上可用的另一个模型,在本例中为 mistral - **/clear**(一旦模型正在运行 )清除会话的上下文以重新开始 - **/bye**(一旦模型正在运行) 退出 ollama - **/?**(一旦模型正在运行) 列出所有可用命令 对于更复杂的用例,例如创建新的微调模型,存在更多命令。 Ollama 的 Github 仓库是一个非常完整的文档。 ## GitHub - ollama/ollama:启动并运行 Llama 3、Mistral、Gemma 2 和其他大型语言... ### 启动并运行 Llama 3、Mistral、Gemma 2 和其他大型语言模型。- 奥拉玛/奥拉马 github.com 对于基本用例,CLI 可能就足够了,但是,还有更多...... # #4 Jupyter Notebook 中的 Llama 3 通过终端使用 LLM 是可以的,但通过 python 代码与模型交互会带来更多可能性。 为了做到这一点,我们需要使用 pip 安装 langchain_community 库 (*pip install langchain_community*) 并导入 Ollama 包。 比方说,我想为一个人创建一个简短的简历,提供她的姓名、年龄和职业。在此示例中,代码将如下所示: ``` # !pip install langchain_community # Import the necessary package from langchain_community.llms import Ollama # Create a model instance llm = Ollama(model="llama3") # Use the model with a prompt llm.invoke("Generate a short, 2-sentence bio for Alice, who is 25 years old and works as a Engineer") ``` 很简单! 结果如下: > “这是爱丽丝可能的简历:\n\n爱丽丝是一位 25 岁的工程师,热衷于创新解决问题,并善于将复杂的想法变为现实。凭借在机械工程方面的坚实基础和对细节的敏锐眼光,她致力于制定能够对现实世界产生影响的解决方案。 通过删除带有正则表达式的介绍性部分,可以进一步优化此输出。 在终端中可以很容易地为一个人生成一个简历,但是如果没有Python,为许多人的列表做同样的任务会变得乏味。使用 Python,可以对提示进行参数化,并且可以为许多人自动化该过程。 例如: ``` import pandas as pd # Create a sample DataFrame df = pd.DataFrame({ 'name': ['Alice', 'Bob', 'Charlie'], 'age': [25, 30, 35], 'occupation': ['Engineer', 'Teacher', 'Artist'] }) # Create a function which can be applied to the dataframe def generate_bio(name, age, occupation): prompt = f"Generate a short, 2-sentence bio for {name}, who is {age} years old and works as a {occupation}" return llm.invoke(prompt) # Apply the function to the dataframe df['bio'] = df.apply(lambda row: generate_bio(row['name'], row['age'], row['occupation']), axis=1) df.head() ``` 现在,对于 DataFrame 的每一行,模型都会生成一个 bio! # #5 最后的思考 本文的目的是强调借助 Ollama 在本地实现功能完备的 LLM 的简单性。 无论我们是通过终端使用此模型进行简单的询问,还是使用 Python 进行更复杂/自动化的任务,过程都很简单。 借助 Open WebUI 等开源项目,您甚至可以拥有自己的类似 ChatGPT 的图形界面。 我个人觉得很了不起,只需点击几下和几行代码,我们就可以得到如此有用的东西!希望你也喜欢它。 *感谢您一直阅读到文章结尾。 ****关注更多!\**** 请随时在下方留言,如果您有* *任何问题/意见*,请通过[*LinkedIn*](https://www.linkedin.com/in/guillaume-weingertner-a4a27972/) */* [*X*](https://twitter.com/GuillaumeWein)与我联系!
yg9538
July 31, 2024, 9:32 a.m.
447
转发文档
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
Markdown文件
PDF文档
PDF文档(打印)
分享
链接
类型
密码
更新密码