LightRAG：使用 PyTorch 为 LLM 应用程序提供支持

![1722389132716](https://yg9538.kmgy.top/202407310925994.png)

来源：作者使用 MidJourney 创建的图片

## 介绍

大型语言模型 （LLM） 已经成为多功能工具，能够彻底改变从聊天机器人交互到复杂自主代理的任务。然而，要充分发挥其潜力，就需要灵活高效的框架。这就是 LightRAG 的用武之地。

![image-20240731092545434](https://yg9538.kmgy.top/202407310925541.png)

来源： [Light-RAG](https://github.com/SylphAI-Inc/LightRAG?tab=readme-ov-file#-the-pytorch-library-for-large-language-model-applications-)

## **定义**

LightRAG 是一个开源 PyTorch 库，专为构建和优化 Retriever-Agent-Generator （RAG） 管道而设计。它提供了一种简化和模块化的方法，使开发人员能够轻松创建自定义 LLM 应用程序。

**RAG管道：** 在 RAG 管道中：

1. **猎犬：**从知识库中标识相关信息。
2. **代理：**处理检索到的信息，可能使用外部工具。
3. **发电机：**根据处理过的信息生成最终响应。

LightRAG 通过为每个组件提供强大的框架，简化了这些管道的开发。

## 为什么选择LightRAG？

- **轻：**LightRAG 强调最小的抽象层，为开发人员提供最大的控制和灵活性。
- **模块 化：**其基于组件的架构使开发人员能够轻松交换和修改其 RAG 管道的一部分。
- **强大的：**LightRAG 基于 PyTorch 构建，利用了这个广泛使用的深度学习框架的稳定性和优化功能。
- **读：**代码库设计为透明且易于理解，便于定制和调试。

## 代码实现

让我们深入研究使用 LightRAG 的大型语言模型。

**步骤 I：安装依赖**

```
pip install lightrag pytorch
```

**第二步：轻型RAG管道**

~~~python
from dataclasses import dataclass, field

from lightrag.core import Component, Generator, DataClass
from lightrag.components.model_client import GroqAPIClient
from lightrag.components.output_parsers import JsonOutputParser

@dataclass
class QAOutput(DataClass):
    explanation: str = field(
        metadata={"desc": "A brief explanation of the concept in one sentence."}
    )
    example: str = field(metadata={"desc": "An example of the concept in a sentence."})

qa_template = r"""<SYS>
You are a helpful assistant.
<OUTPUT_FORMAT>
{{output_format_str}}
</OUTPUT_FORMAT>
</SYS>
User: {{input_str}}
You:"""

class QA(Component):
    def __init__(self):
        super().__init__()

parser = JsonOutputParser(data_class=QAOutput, return_data_class=True)
        self.generator = Generator(
            model_client=GroqAPIClient(),
            model_kwargs={"model": "llama3-8b-8192"},
            template=qa_template,
            prompt_kwargs={"output_format_str": parser.format_instructions()},
            output_processors=parser,
        )

def call(self, query: str):
        return self.generator.call({"input_str": query})

async def acall(self, query: str):
        return await self.generator.acall({"input_str": query})

qa = QA()
print(qa)

# call
output = qa("What is LLM?")
print(output)

# Output
QA(
  (generator): Generator(
    model_kwargs={'model': 'llama3-8b-8192'},
    (prompt): Prompt(
      template: <SYS>
      You are a helpful assistant.
      <OUTPUT_FORMAT>
      {{output_format_str}}
      </OUTPUT_FORMAT>
      </SYS>
      User: {{input_str}}
      You:, prompt_kwargs: {'output_format_str': 'Your output should be formatted as a standard JSON instance with the following schema:\n```\n{\n    "explanation": "A brief explanation of the concept in one sentence. (str) (required)",\n    "example": "An example of the concept in a sentence. (str) (required)"\n}\n```\n-Make sure to always enclose the JSON output in triple backticks (```). Please do not add anything other than valid JSON output!\n-Use double quotes for the keys and string values.\n-Follow the JSON formatting conventions.'}, prompt_variables: ['output_format_str', 'input_str']
    )
    (model_client): GroqAPIClient()
    (output_processors): JsonOutputParser(
      data_class=QAOutput, examples=None, exclude_fields=None, return_data_class=True
      (json_output_format_prompt): Prompt(
        template: Your output should be formatted as a standard JSON instance with the following schema:
        ```
        {{schema}}
        ```
        {% if example %}
        Examples:
        ```
        {{example}}
        ```
        {% endif %}
        -Make sure to always enclose the JSON output in triple backticks (```). Please do not add anything other than valid JSON output!
        -Use double quotes for the keys and string values.
        -Follow the JSON formatting conventions., prompt_variables: ['schema', 'example']
      )
      (output_processors): JsonParser()
    )
  )
)
~~~

**第三步：检查提示符**

~~~python
qa2.generator.print_prompt(
        output_format_str=qa2.generator.output_processors.format_instructions(),
        input_str="What is LLM?",
)

#Output

<SYS>
You are a helpful assistant.
<OUTPUT_FORMAT>
Your output should be formatted as a standard JSON instance with the following schema:
```
{
    "explanation": "A brief explanation of the concept in one sentence. (str) (required)",
    "example": "An example of the concept in a sentence. (str) (required)"
}
```
-Make sure to always enclose the JSON output in triple backticks (```). Please do not add anything other than valid JSON output!
-Use double quotes for the keys and string values.
-Follow the JSON formatting conventions.
</OUTPUT_FORMAT>
</SYS>
User: What is LLM?
You:
~~~

## **结论**

LightRAG 使开发人员能够快速高效地构建量身定制的 LLM 应用程序。其轻量级设计、模块化和坚实的基础使其成为不断发展的大型语言模型应用程序中的宝贵工具。

无论您是在构建聊天机器人、自主代理还是其他 LLM 驱动的解决方案，LightRAG 都能提供将您的想法变为现实的框架。

## **资源**

- [LightRAG的](https://github.com/SylphAI-Inc/LightRAG?tab=readme-ov-file#-the-pytorch-library-for-large-language-model-applications-)

通过各种平台保持联系并支持我的工作：

[Github](https://github.com/andysingal) [Patreon](https://www.patreon.com/AndyShanu) [Kaggle](https://www.kaggle.com/alphasingal) [Hugging-Face](https://huggingface.co/Andyrasika) [YouTube](https://www.youtube.com/@andy111007) [GumRoad](https://rasikasingal.gumroad.com/) [Calendly](http://calendly.com/alphasingal)

喜欢我的内容吗？随意[给我买杯咖啡☕](https://paypal.me/alphasingal?country.x=US&locale.x=en_US)！

请求和问题：如果您有一个项目希望我参与，或者您对我解释的概念有任何疑问，请随时告诉我。我一直在为未来的笔记本寻找新的想法，我喜欢帮助解决您可能有的任何疑问。

请记住，每个“喜欢”、“分享”和“星标”都对我的工作做出了巨大贡献，并激励我继续制作更多高质量的内容。感谢您的支持！

如果您喜欢这个故事，请随时[订阅](https://medium.com/@andysingal) Medium，当我的新文章发布时，您将收到通知，以及对其他作者的数千个故事的完全访问权限。