Ollama

![image-20240731093109161](https://yg9538.kmgy.top/202407310943434.png)

图片由 AI 生成，作者

# #1 为什么选择本地法学硕士

毫无疑问，ChatGPT 很棒，但它有一个明显的缺点：您编写或上传的所有内容都存储在 OpenAI 的服务器上。尽管这在许多情况下可能很好，但在处理敏感数据时，这可能会成为一个问题。

出于这个原因，我开始探索可以在个人计算机上本地运行的开源 LLM。事实证明，它们之所以出色，实际上还有更多原因。

1**. 数据隐私**：您的信息保留在您的机器上。

2.**成本效益**高：没有订阅费或API费用，可以免费使用。

3**. 定制**：模型可以根据您的特定系统提示或数据集进行微调。

4**.离线功能**：无需互联网连接。

5. **无限制使用**：不受外部 API 的限制。

> 现在，设置本地 LLM 非常简单。本文提供了一个分步指南，以帮助你在本地计算机上安装和运行开源模型。

让我们开始吧！

# #2 安装 Ollama 并运行 Llama 3

Ollama 是一个开源项目，允许在个人计算机上轻松运行本地大型语言模型 （LLM）。
它以非常人性化、超轻量级而闻名，并提供各种不同的预训练模型——包括 Meta （Llama 3） 和 Google （Gemma 2） 的最新和最伟大的模型。
所有这些公司都花费了数百万美元来训练这些模型，以便我们可以在自己的机器上本地使用它们。是不是很神奇？

Ollama 本身只不过是一个空壳，需要一个现成的 LLM 才能发挥作用。

在深入研究安装过程之前，让我们先看一下可用的模型：

![image-20240731094731130](https://yg9538.kmgy.top/202407310947224.png)

Ollama 中可用模型的非详尽列表 — 截图自 Ollama.com

还有更多！

出于本文的目的，我重点介绍了 Meta 的最新模型，称为 Llama 3，它承诺了惊人的性能。在撰写本文时，它是平台上最受欢迎的型号，拉力为 4.4M。

![image-20240731094738499](https://yg9538.kmgy.top/202407310947572.png)

Llama 3 模型 — 截图自 Ollama.com

以下步骤展示了如何在您的计算机上安装 Ollama，用 Llama3 喂养它，并最终像使用 ChatGPT 一样使用该模型。

**步骤 1/2：**
1。转到 ollama.com 并单击“*下载*”——我使用的是 macOS，因此我将在本教程的其余部分重点介绍此选项，尽管它与 Linux 或 Windows 应该没有太大区别。

2. 点击“*下载macOS版*”。

![image-20240731094751696](https://yg9538.kmgy.top/202407310947809.png)

第 1 步和第 2 步 — Ollama.com 的屏幕截图

**步骤3/4/5：**
与任何其他应用程序一样，只需按照非常简单的安装步骤操作即可。

3. 点击“*安装*”。
4. 点击“*下一步*”。
5. 在您的终端中运行“*ollama run llama3*”。

![image-20240731094800566](https://yg9538.kmgy.top/202407310948654.png)

第 3、4 和 5 步 — Ollama.com 的屏幕截图

最后一步将首先在您的计算机上下载llama3的8B版本（约4.7GB），然后运行它。就这么简单！

![image-20240731094811914](https://yg9538.kmgy.top/202407310948003.png)

下载并运行 Llama 3 — 图片由 Author 提供

这篇文章可以就到此为止。
只需点击几下，再写一行代码，我们就在本地运行一个 LLM！

你可以问它任何事情，比如解释 Llama 3 的 80 亿和 700 亿参数版本之间的差异。

![image-20240731094821401](https://yg9538.kmgy.top/202407310948506.png)

llama3 的示例提示 — 图片由作者提供

模型的响应时间通常取决于计算机的 GPU/RAM。

# #3 一些有用的命令

如果您想继续在终端中本地使用 LLM，那么似乎必须牢记一些基本命令：

- **ollama run llama3**
  运行模型，本例中为 llama3
- **ollama 列表**
  列出本地已安装的所有模型
- **ollama pull mistral**
  拉动平台上可用的另一个模型，在本例中为 mistral
- **/clear**（一旦模型正在运行
  ）清除会话的上下文以重新开始
- **/bye**（一旦模型正在运行）
  退出 ollama
- **/？**（一旦模型正在运行）
  列出所有可用命令

对于更复杂的用例，例如创建新的微调模型，存在更多命令。

Ollama 的 Github 仓库是一个非常完整的文档。

## GitHub - ollama/ollama：启动并运行 Llama 3、Mistral、Gemma 2 和其他大型语言...

### 启动并运行 Llama 3、Mistral、Gemma 2 和其他大型语言模型。- 奥拉玛/奥拉马

github.com

对于基本用例，CLI 可能就足够了，但是，还有更多......

# #4 Jupyter Notebook 中的 Llama 3

通过终端使用 LLM 是可以的，但通过 python 代码与模型交互会带来更多可能性。

为了做到这一点，我们需要使用 pip 安装 langchain_community 库 （*pip install langchain_community*） 并导入 Ollama 包。

比方说，我想为一个人创建一个简短的简历，提供她的姓名、年龄和职业。在此示例中，代码将如下所示：

```
# !pip install langchain_community

# Import the necessary package
from langchain_community.llms import Ollama

# Create a model instance
llm = Ollama(model="llama3")

# Use the model with a prompt
llm.invoke("Generate a short, 2-sentence bio for Alice, who is 25 years old and works as a Engineer")
```

很简单！

结果如下：

> “这是爱丽丝可能的简历：\n\n爱丽丝是一位 25 岁的工程师，热衷于创新解决问题，并善于将复杂的想法变为现实。凭借在机械工程方面的坚实基础和对细节的敏锐眼光，她致力于制定能够对现实世界产生影响的解决方案。

通过删除带有正则表达式的介绍性部分，可以进一步优化此输出。

在终端中可以很容易地为一个人生成一个简历，但是如果没有Python，为许多人的列表做同样的任务会变得乏味。使用 Python，可以对提示进行参数化，并且可以为许多人自动化该过程。

例如：

```
import pandas as pd

# Create a sample DataFrame
df = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'occupation': ['Engineer', 'Teacher', 'Artist']
})

# Create a function which can be applied to the dataframe
def generate_bio(name, age, occupation):
    prompt = f"Generate a short, 2-sentence bio for {name}, who is {age} years old and works as a {occupation}"
    return llm.invoke(prompt)

# Apply the function to the dataframe
df['bio'] = df.apply(lambda row: generate_bio(row['name'], row['age'], row['occupation']), axis=1)

df.head()
```

现在，对于 DataFrame 的每一行，模型都会生成一个 bio！

# #5 最后的思考

本文的目的是强调借助 Ollama 在本地实现功能完备的 LLM 的简单性。

无论我们是通过终端使用此模型进行简单的询问，还是使用 Python 进行更复杂/自动化的任务，过程都很简单。

借助 Open WebUI 等开源项目，您甚至可以拥有自己的类似 ChatGPT 的图形界面。

我个人觉得很了不起，只需点击几下和几行代码，我们就可以得到如此有用的东西！希望你也喜欢它。

*感谢您一直阅读到文章结尾。
****关注更多！\****
请随时在下方留言，如果您有* *任何问题/意见*，请通过[*LinkedIn*](https://www.linkedin.com/in/guillaume-weingertner-a4a27972/) */* [*X*](https://twitter.com/GuillaumeWein)与我联系！