2024工作周期安排
2024项目整体规划
沐曦测试(已完成)
沐曦性能测试研究
沐曦Benchmark相关测试
沐曦模型适配表
2024-02-26沐曦沟通报告
智能打标
数据打标服务Json样例
智能打标寒武纪大模型思路
业务层优先级排序
智能打标流程图
打标API接口文档
图像内容识别
其他
申报项目文本段落
研发链相关资料文档
国产GPU虚拟化培训介绍
大模型比赛
相关资料
智能填单_填单 启动命令
2024私人规划
ChatGPT API账号记录
公众号相关资料
基于 Docker 的深度学习环境:入门篇
ollama
Ollama
ReFT
ReFT AI论文笔记
ReFT概要
分布式对齐搜索 DAS
不是每个人都开始使用 ReFT 吗?
ReFT 微调Llama3
ReFT 算法详解
-
+
home
Ollama
 图片由 AI 生成,作者 # #1 为什么选择本地法学硕士 毫无疑问,ChatGPT 很棒,但它有一个明显的缺点:您编写或上传的所有内容都存储在 OpenAI 的服务器上。尽管这在许多情况下可能很好,但在处理敏感数据时,这可能会成为一个问题。 出于这个原因,我开始探索可以在个人计算机上本地运行的开源 LLM。事实证明,它们之所以出色,实际上还有更多原因。 1**. 数据隐私**:您的信息保留在您的机器上。 2.**成本效益**高:没有订阅费或API费用,可以免费使用。 3**. 定制**:模型可以根据您的特定系统提示或数据集进行微调。 4**.离线功能**:无需互联网连接。 5. **无限制使用**:不受外部 API 的限制。 > 现在,设置本地 LLM 非常简单。本文提供了一个分步指南,以帮助你在本地计算机上安装和运行开源模型。 让我们开始吧! # #2 安装 Ollama 并运行 Llama 3 Ollama 是一个开源项目,允许在个人计算机上轻松运行本地大型语言模型 (LLM)。 它以非常人性化、超轻量级而闻名,并提供各种不同的预训练模型——包括 Meta (Llama 3) 和 Google (Gemma 2) 的最新和最伟大的模型。 所有这些公司都花费了数百万美元来训练这些模型,以便我们可以在自己的机器上本地使用它们。是不是很神奇? Ollama 本身只不过是一个空壳,需要一个现成的 LLM 才能发挥作用。 在深入研究安装过程之前,让我们先看一下可用的模型:  Ollama 中可用模型的非详尽列表 — 截图自 Ollama.com 还有更多! 出于本文的目的,我重点介绍了 Meta 的最新模型,称为 Llama 3,它承诺了惊人的性能。在撰写本文时,它是平台上最受欢迎的型号,拉力为 4.4M。  Llama 3 模型 — 截图自 Ollama.com 以下步骤展示了如何在您的计算机上安装 Ollama,用 Llama3 喂养它,并最终像使用 ChatGPT 一样使用该模型。 **步骤 1/2:** 1。转到 ollama.com 并单击“*下载*”——我使用的是 macOS,因此我将在本教程的其余部分重点介绍此选项,尽管它与 Linux 或 Windows 应该没有太大区别。 2. 点击“*下载macOS版*”。  第 1 步和第 2 步 — Ollama.com 的屏幕截图 **步骤3/4/5:** 与任何其他应用程序一样,只需按照非常简单的安装步骤操作即可。 3. 点击“*安装*”。 4. 点击“*下一步*”。 5. 在您的终端中运行“*ollama run llama3*”。  第 3、4 和 5 步 — Ollama.com 的屏幕截图 最后一步将首先在您的计算机上下载llama3的8B版本(约4.7GB),然后运行它。就这么简单!  下载并运行 Llama 3 — 图片由 Author 提供 这篇文章可以就到此为止。 只需点击几下,再写一行代码,我们就在本地运行一个 LLM! 你可以问它任何事情,比如解释 Llama 3 的 80 亿和 700 亿参数版本之间的差异。  llama3 的示例提示 — 图片由作者提供 模型的响应时间通常取决于计算机的 GPU/RAM。 # #3 一些有用的命令 如果您想继续在终端中本地使用 LLM,那么似乎必须牢记一些基本命令: - **ollama run llama3** 运行模型,本例中为 llama3 - **ollama 列表** 列出本地已安装的所有模型 - **ollama pull mistral** 拉动平台上可用的另一个模型,在本例中为 mistral - **/clear**(一旦模型正在运行 )清除会话的上下文以重新开始 - **/bye**(一旦模型正在运行) 退出 ollama - **/?**(一旦模型正在运行) 列出所有可用命令 对于更复杂的用例,例如创建新的微调模型,存在更多命令。 Ollama 的 Github 仓库是一个非常完整的文档。 ## GitHub - ollama/ollama:启动并运行 Llama 3、Mistral、Gemma 2 和其他大型语言... ### 启动并运行 Llama 3、Mistral、Gemma 2 和其他大型语言模型。- 奥拉玛/奥拉马 github.com 对于基本用例,CLI 可能就足够了,但是,还有更多...... # #4 Jupyter Notebook 中的 Llama 3 通过终端使用 LLM 是可以的,但通过 python 代码与模型交互会带来更多可能性。 为了做到这一点,我们需要使用 pip 安装 langchain_community 库 (*pip install langchain_community*) 并导入 Ollama 包。 比方说,我想为一个人创建一个简短的简历,提供她的姓名、年龄和职业。在此示例中,代码将如下所示: ``` # !pip install langchain_community # Import the necessary package from langchain_community.llms import Ollama # Create a model instance llm = Ollama(model="llama3") # Use the model with a prompt llm.invoke("Generate a short, 2-sentence bio for Alice, who is 25 years old and works as a Engineer") ``` 很简单! 结果如下: > “这是爱丽丝可能的简历:\n\n爱丽丝是一位 25 岁的工程师,热衷于创新解决问题,并善于将复杂的想法变为现实。凭借在机械工程方面的坚实基础和对细节的敏锐眼光,她致力于制定能够对现实世界产生影响的解决方案。 通过删除带有正则表达式的介绍性部分,可以进一步优化此输出。 在终端中可以很容易地为一个人生成一个简历,但是如果没有Python,为许多人的列表做同样的任务会变得乏味。使用 Python,可以对提示进行参数化,并且可以为许多人自动化该过程。 例如: ``` import pandas as pd # Create a sample DataFrame df = pd.DataFrame({ 'name': ['Alice', 'Bob', 'Charlie'], 'age': [25, 30, 35], 'occupation': ['Engineer', 'Teacher', 'Artist'] }) # Create a function which can be applied to the dataframe def generate_bio(name, age, occupation): prompt = f"Generate a short, 2-sentence bio for {name}, who is {age} years old and works as a {occupation}" return llm.invoke(prompt) # Apply the function to the dataframe df['bio'] = df.apply(lambda row: generate_bio(row['name'], row['age'], row['occupation']), axis=1) df.head() ``` 现在,对于 DataFrame 的每一行,模型都会生成一个 bio! # #5 最后的思考 本文的目的是强调借助 Ollama 在本地实现功能完备的 LLM 的简单性。 无论我们是通过终端使用此模型进行简单的询问,还是使用 Python 进行更复杂/自动化的任务,过程都很简单。 借助 Open WebUI 等开源项目,您甚至可以拥有自己的类似 ChatGPT 的图形界面。 我个人觉得很了不起,只需点击几下和几行代码,我们就可以得到如此有用的东西!希望你也喜欢它。 *感谢您一直阅读到文章结尾。 ****关注更多!\**** 请随时在下方留言,如果您有* *任何问题/意见*,请通过[*LinkedIn*](https://www.linkedin.com/in/guillaume-weingertner-a4a27972/) */* [*X*](https://twitter.com/GuillaumeWein)与我联系!
yg9538
July 31, 2024, 9:32 a.m.
1550
Forward the document
Save to Collection
Last
Next
Scan the QR code with your phone
Copy link
手机扫一扫转发分享
Copy link
Markdown文件
Word document
PDF document
PDF document (print)
share
link
type
password
Update password
Validity period