知识星球 | 深度连接铁杆粉丝，运营高品质社群，知识变现的工具

来自：大语言模型论文跟踪进入星球

![](https://yg9538.kmgy.top/img/2024/03/30/2024-03-30_231124_7376870.29402513884287607.jpeg)

HuggingAI

2024-03-19 21:34

RAFT 方法致力于让语言模型更好地适应特定领域的 RAG。 现今，对大规模文本数据集进行大型语言模型（LLMs）的预训练已成为常规做法。而在实际应用LLMs时，通常还会通过RAG引导或微调手段引入如时效新闻或专属领域知识等新信息。不过，如何最有效地让模型获取这类新知识的方法尚无定论。本文提出了“检索增强微调”（RAFT）这一训练策略，它能在特定领域下显著提升模型“开卷作答”的能力。RAFT机制下，面对一个问题及一堆检索文档，模型会被训练筛选出无关的干扰文档，并直接引用相关文档中能够解答问题的关键内容。RAFT还融合了链式思考型回应方式，以增强模型的推理力。实验证明，在PubMed、HotpotQA和Gorilla等多个数据集中，RAFT能持续提升特定领域RAG模型的表现，从而为改进预训练LLMs提供了一种有效的后期优化方案。RAFT的源代码和演示已开源在github.com/ShishirPatil/gorilla。 原文链接:[\[2403.10131\] RAFT: Adapting Language Model to Doma...](https://arxiv.org/abs/2403.10131 "[2403.10131] RAFT: Adapting Language Model to Doma...") #arXiv论文# #RAG# #预训练模型#

展开全部

![](https://yg9538.kmgy.top/img/2024/03/30/2024-03-30_231124_8367940.6579688924904536.jpeg)

arXiv论文

RAG

预训练模型来自：大语言模型论文跟踪进入星球

![](https://yg9538.kmgy.top/img/2024/03/30/2024-03-30_231124_7240910.509610957948551.jpeg)

HuggingAI

2024-03-19 21:34

RAFT 方法致力于让语言模型更好地适应特定领域的 RAG。 现今，对大规模文本数据集进行大型语言模型（LLMs）的预训练已成为常规做法。而在实际应用LLMs时，通常还会通过RAG引导或微调手段引入如时效新闻或专属领域知识等新信息。不过，如何最有效地让模型获取这类新知识的方法尚无定论。本文提出了“检索增强微调”（RAFT）这一训练策略，它能在特定领域下显著提升模型“开卷作答”的能力。RAFT机制下，面对一个问题及一堆检索文档，模型会被训练筛选出无关的干扰文档，并直接引用相关文档中能够解答问题的关键内容。RAFT还融合了链式思考型回应方式，以增强模型的推理力。实验证明，在PubMed、HotpotQA和Gorilla等多个数据集中，RAFT能持续提升特定领域RAG模型的表现，从而为改进预训练LLMs提供了一种有效的后期优化方案。RAFT的源代码和演示已开源在github.com/ShishirPatil/gorilla。 原文链接:[\[2403.10131\] RAFT: Adapting Language Model to Doma...](https://arxiv.org/abs/2403.10131 "[2403.10131] RAFT: Adapting Language Model to Doma...") #arXiv论文# #RAG# #预训练模型#

展开全部

![](https://yg9538.kmgy.top/img/2024/03/30/2024-03-30_231124_9111200.26576176640816596.jpeg)

arXiv论文

RAG

预训练模型来自：大语言模型论文跟踪进入星球

![](https://yg9538.kmgy.top/img/2024/03/30/2024-03-30_231124_7411420.7371725458186331.jpeg)

HuggingAI

2024-03-19 21:34

RAFT 方法致力于让语言模型更好地适应特定领域的 RAG。 现今，对大规模文本数据集进行大型语言模型（LLMs）的预训练已成为常规做法。而在实际应用LLMs时，通常还会通过RAG引导或微调手段引入如时效新闻或专属领域知识等新信息。不过，如何最有效地让模型获取这类新知识的方法尚无定论。本文提出了“检索增强微调”（RAFT）这一训练策略，它能在特定领域下显著提升模型“开卷作答”的能力。RAFT机制下，面对一个问题及一堆检索文档，模型会被训练筛选出无关的干扰文档，并直接引用相关文档中能够解答问题的关键内容。RAFT还融合了链式思考型回应方式，以增强模型的推理力。实验证明，在PubMed、HotpotQA和Gorilla等多个数据集中，RAFT能持续提升特定领域RAG模型的表现，从而为改进预训练LLMs提供了一种有效的后期优化方案。RAFT的源代码和演示已开源在github.com/ShishirPatil/gorilla。 原文链接:[\[2403.10131\] RAFT: Adapting Language Model to Doma...](https://arxiv.org/abs/2403.10131 "[2403.10131] RAFT: Adapting Language Model to Doma...") #arXiv论文# #RAG# #预训练模型#

展开全部

![](https://yg9538.kmgy.top/img/2024/03/30/2024-03-30_231124_9395440.07411254537727585.jpeg)

arXiv论文

RAG

预训练模型来自：大语言模型论文跟踪进入星球

![](https://yg9538.kmgy.top/img/2024/03/30/2024-03-30_231124_7353810.7995782577357964.jpeg)

HuggingAI

2024-03-19 21:34

RAFT 方法致力于让语言模型更好地适应特定领域的 RAG。 现今，对大规模文本数据集进行大型语言模型（LLMs）的预训练已成为常规做法。而在实际应用LLMs时，通常还会通过RAG引导或微调手段引入如时效新闻或专属领域知识等新信息。不过，如何最有效地让模型获取这类新知识的方法尚无定论。本文提出了“检索增强微调”（RAFT）这一训练策略，它能在特定领域下显著提升模型“开卷作答”的能力。RAFT机制下，面对一个问题及一堆检索文档，模型会被训练筛选出无关的干扰文档，并直接引用相关文档中能够解答问题的关键内容。RAFT还融合了链式思考型回应方式，以增强模型的推理力。实验证明，在PubMed、HotpotQA和Gorilla等多个数据集中，RAFT能持续提升特定领域RAG模型的表现，从而为改进预训练LLMs提供了一种有效的后期优化方案。RAFT的源代码和演示已开源在github.com/ShishirPatil/gorilla。 原文链接:[\[2403.10131\] RAFT: Adapting Language Model to Doma...](https://arxiv.org/abs/2403.10131 "[2403.10131] RAFT: Adapting Language Model to Doma...") #arXiv论文# #RAG# #预训练模型#

展开全部

![](https://yg9538.kmgy.top/img/2024/03/30/2024-03-30_231124_9319850.2710716271124032.jpeg)

arXiv论文

RAG

预训练模型来自：大语言模型论文跟踪进入星球

![](https://yg9538.kmgy.top/img/2024/03/30/2024-03-30_231124_7378690.5107239995287324.jpeg)

HuggingAI

2024-03-19 21:34

RAFT 方法致力于让语言模型更好地适应特定领域的 RAG。 现今，对大规模文本数据集进行大型语言模型（LLMs）的预训练已成为常规做法。而在实际应用LLMs时，通常还会通过RAG引导或微调手段引入如时效新闻或专属领域知识等新信息。不过，如何最有效地让模型获取这类新知识的方法尚无定论。本文提出了“检索增强微调”（RAFT）这一训练策略，它能在特定领域下显著提升模型“开卷作答”的能力。RAFT机制下，面对一个问题及一堆检索文档，模型会被训练筛选出无关的干扰文档，并直接引用相关文档中能够解答问题的关键内容。RAFT还融合了链式思考型回应方式，以增强模型的推理力。实验证明，在PubMed、HotpotQA和Gorilla等多个数据集中，RAFT能持续提升特定领域RAG模型的表现，从而为改进预训练LLMs提供了一种有效的后期优化方案。RAFT的源代码和演示已开源在github.com/ShishirPatil/gorilla。 原文链接:[\[2403.10131\] RAFT: Adapting Language Model to Doma...](https://arxiv.org/abs/2403.10131 "[2403.10131] RAFT: Adapting Language Model to Doma...") #arXiv论文# #RAG# #预训练模型#

展开全部

![](https://yg9538.kmgy.top/img/2024/03/30/2024-03-30_231124_9378230.5520264000930061.jpeg)

arXiv论文

RAG

预训练模型来自：大语言模型论文跟踪进入星球

![](https://yg9538.kmgy.top/img/2024/03/30/2024-03-30_231124_8327890.9506038553560344.jpeg)

HuggingAI

2024-03-19 21:34

RAFT 方法致力于让语言模型更好地适应特定领域的 RAG。 现今，对大规模文本数据集进行大型语言模型（LLMs）的预训练已成为常规做法。而在实际应用LLMs时，通常还会通过RAG引导或微调手段引入如时效新闻或专属领域知识等新信息。不过，如何最有效地让模型获取这类新知识的方法尚无定论。本文提出了“检索增强微调”（RAFT）这一训练策略，它能在特定领域下显著提升模型“开卷作答”的能力。RAFT机制下，面对一个问题及一堆检索文档，模型会被训练筛选出无关的干扰文档，并直接引用相关文档中能够解答问题的关键内容。RAFT还融合了链式思考型回应方式，以增强模型的推理力。实验证明，在PubMed、HotpotQA和Gorilla等多个数据集中，RAFT能持续提升特定领域RAG模型的表现，从而为改进预训练LLMs提供了一种有效的后期优化方案。RAFT的源代码和演示已开源在github.com/ShishirPatil/gorilla。 原文链接:[\[2403.10131\] RAFT: Adapting Language Model to Doma...](https://arxiv.org/abs/2403.10131 "[2403.10131] RAFT: Adapting Language Model to Doma...") #arXiv论文# #RAG# #预训练模型#

展开全部

![](https://yg9538.kmgy.top/img/2024/03/30/2024-03-30_231124_9336310.7394328386656664.jpeg)

arXiv论文

RAG

预训练模型来自：大语言模型论文跟踪进入星球

![](https://yg9538.kmgy.top/img/2024/03/30/2024-03-30_231124_8350630.937964238036028.jpeg)

HuggingAI

2024-03-19 21:34

RAFT 方法致力于让语言模型更好地适应特定领域的 RAG。 现今，对大规模文本数据集进行大型语言模型（LLMs）的预训练已成为常规做法。而在实际应用LLMs时，通常还会通过RAG引导或微调手段引入如时效新闻或专属领域知识等新信息。不过，如何最有效地让模型获取这类新知识的方法尚无定论。本文提出了“检索增强微调”（RAFT）这一训练策略，它能在特定领域下显著提升模型“开卷作答”的能力。RAFT机制下，面对一个问题及一堆检索文档，模型会被训练筛选出无关的干扰文档，并直接引用相关文档中能够解答问题的关键内容。RAFT还融合了链式思考型回应方式，以增强模型的推理力。实验证明，在PubMed、HotpotQA和Gorilla等多个数据集中，RAFT能持续提升特定领域RAG模型的表现，从而为改进预训练LLMs提供了一种有效的后期优化方案。RAFT的源代码和演示已开源在github.com/ShishirPatil/gorilla。 原文链接:[\[2403.10131\] RAFT: Adapting Language Model to Doma...](https://arxiv.org/abs/2403.10131 "[2403.10131] RAFT: Adapting Language Model to Doma...") #arXiv论文# #RAG# #预训练模型#

展开全部

![](https://yg9538.kmgy.top/img/2024/03/30/2024-03-30_231125_0112650.37454217844868276.jpeg)

arXiv论文

RAG

预训练模型来自：大语言模型论文跟踪进入星球

![](https://yg9538.kmgy.top/img/2024/03/30/2024-03-30_231124_8237470.8457402158439374.jpeg)

HuggingAI

2024-03-19 21:34

RAFT 方法致力于让语言模型更好地适应特定领域的 RAG。 现今，对大规模文本数据集进行大型语言模型（LLMs）的预训练已成为常规做法。而在实际应用LLMs时，通常还会通过RAG引导或微调手段引入如时效新闻或专属领域知识等新信息。不过，如何最有效地让模型获取这类新知识的方法尚无定论。本文提出了“检索增强微调”（RAFT）这一训练策略，它能在特定领域下显著提升模型“开卷作答”的能力。RAFT机制下，面对一个问题及一堆检索文档，模型会被训练筛选出无关的干扰文档，并直接引用相关文档中能够解答问题的关键内容。RAFT还融合了链式思考型回应方式，以增强模型的推理力。实验证明，在PubMed、HotpotQA和Gorilla等多个数据集中，RAFT能持续提升特定领域RAG模型的表现，从而为改进预训练LLMs提供了一种有效的后期优化方案。RAFT的源代码和演示已开源在github.com/ShishirPatil/gorilla。 原文链接:[\[2403.10131\] RAFT: Adapting Language Model to Doma...](https://arxiv.org/abs/2403.10131 "[2403.10131] RAFT: Adapting Language Model to Doma...") #arXiv论文# #RAG# #预训练模型#

展开全部

![](https://yg9538.kmgy.top/img/2024/03/30/2024-03-30_231125_0175840.9705022977418031.jpeg)

arXiv论文

RAG

预训练模型来自：大语言模型论文跟踪进入星球

![](https://yg9538.kmgy.top/img/2024/03/30/2024-03-30_231124_8086010.8641842403885914.jpeg)

HuggingAI

2024-03-19 21:34

RAFT 方法致力于让语言模型更好地适应特定领域的 RAG。 现今，对大规模文本数据集进行大型语言模型（LLMs）的预训练已成为常规做法。而在实际应用LLMs时，通常还会通过RAG引导或微调手段引入如时效新闻或专属领域知识等新信息。不过，如何最有效地让模型获取这类新知识的方法尚无定论。本文提出了“检索增强微调”（RAFT）这一训练策略，它能在特定领域下显著提升模型“开卷作答”的能力。RAFT机制下，面对一个问题及一堆检索文档，模型会被训练筛选出无关的干扰文档，并直接引用相关文档中能够解答问题的关键内容。RAFT还融合了链式思考型回应方式，以增强模型的推理力。实验证明，在PubMed、HotpotQA和Gorilla等多个数据集中，RAFT能持续提升特定领域RAG模型的表现，从而为改进预训练LLMs提供了一种有效的后期优化方案。RAFT的源代码和演示已开源在github.com/ShishirPatil/gorilla。 原文链接:[\[2403.10131\] RAFT: Adapting Language Model to Doma...](https://arxiv.org/abs/2403.10131 "[2403.10131] RAFT: Adapting Language Model to Doma...") #arXiv论文# #RAG# #预训练模型#

展开全部

![](https://yg9538.kmgy.top/img/2024/03/30/2024-03-30_231125_0244190.7182752956354747.jpeg)

arXiv论文

RAG

预训练模型