# llm-rag-demo

**Repository Path**: s0611163/llm-rag-demo

## Basic Information

- **Project Name**: llm-rag-demo
- **Description**: 大语言模型检索增强生成Demo
- **Primary Language**: Unknown
- **License**: MIT
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2025-03-17
- **Last Updated**: 2025-09-05

## Categories & Tags

**Categories**: Uncategorized

**Tags**: llm, RAG

## README

# llm-rag-demo 大语言模型检索增强生成Demo

## 准备环境

### miniconda
作用：
1. ​虚拟环境：为每个项目创建独立的Python环境（如Python 3.10），避免全局安装导致版本冲突。
2. ​依赖管理：通过conda或pip精准安装AI框架（如PyTorch、LangChain），解决库版本兼容性问题。

安装：
1. 下载地址：[miniconda下载](https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/) 下载一个较新版本，例如：Miniconda3-py312_24.11.1-0-Windows-x86_64.exe
2. 安装
3. 编辑Path变量，新增：D:\ProgramData\miniconda3 D:\ProgramData\miniconda3\Scripts D:\ProgramData\miniconda3\Library\bin ，验证：打开cmd，输入conda info，看到信息说明配置成功

### ollama
作用：
1. ​开箱即用：无需配置复杂环境，直接下载运行Llama3、Mistral等开源大模型。
2. ​简化交互：提供类似OpenAI的REST API，方便通过代码调用模型生成文本。
3. ​轻量化：支持CPU/GPU运行，适合本地测试和小规模部署。

安装：
1. 下载地址：[ollama下载](https://ollama.com/download)
2. 安装
3. 环境变量：新增系统变量OLLAMA_MODELS=D:\OllamaModels

### 向量数据库
这里使用的是Chroma，需要通过pip安装langchain-chroma库

作用：
1. ​存储向量：将文本、图片等数据转换为向量（一组数字），实现语义检索。
2. ​加速检索：通过近似算法（如Faiss）快速查找相似内容，支撑大模型的RAG（检索增强生成）。

​典型工具：
1. Chroma（轻量级）
2. Milvus（高性能）

### python虚拟环境
1. 创建python虚拟环境：conda create -n llm-rag python=3.12.8
2. 进入环境：conda activate llm-rag
3. 安装相关包：pip install langchain langchain-community langchain-ollama langchain-chroma jupyterlab

### 库说明
1. LangChain 是一个用于构建基于大语言模型（LLMs）应用程序的开源框架，目标是简化将语言模型与其他工具、数据源和业务逻辑集成的流程，帮助开发者快速开发对话系统、问答工具、自动化工作流等AI应用。
2. langchain-community 是 LangChain 生态系统中的一个官方子包，用于存放由社区贡献或维护的第三方集成、工具和扩展。它的主要目的是将非核心功能从主包 langchain 中分离出来，使 LangChain 的核心库更加轻量，同时允许社区更灵活地维护和更新外部依赖的功能。
3. langchain-ollama 是一个将 ​LangChain 框架与 ​Ollama 工具集成的库，旨在简化在本地环境中使用大型语言模型（LLMs）开发应用的流程。
4. langchain-chroma 是 LangChain 框架与 Chroma 向量数据库的集成组件，用于在基于大型语言模型（LLM）的应用中高效存储、检索文本数据的向量嵌入。
5. JupyterLab 是一款开源的交互式开发环境（IDE）​，专为数据科学、机器学习和科学计算设计。它是传统 Jupyter Notebook 的升级版，提供了更现代化、灵活的界面和功能，支持用户在一个集成的 Web 界面中同时使用多种工具（如代码编辑器、Notebook、终端、可视化工具等）。输入jupyter lab回车即可打开jupyterlab页面。可以使用jupyterlab编写代码，但这里使用的是PyCharm开发工具。

### 下载模型
1. ollama pull deepseek-r1:7b
2. ollama pull autumnzsd/nlp_gte_sentence-embedding_chinese-large:latest
3. 列出已下载的模型：ollama list

### PyCharm
1. 请安装PyCharm较新版本，例如：PyCharm 2024.3.4
2. 创建新项目：File -> New Project...
3. Interpreter Type选择Custom environment， Type选择Conda， Path to conda选择D:\ProgramData\miniconda3\_conda.exe， Environment选择之前创建的D:\ProgramData\miniconda3\envs\llm-rag， 点击Create创建， 然后就可以创建py文件开发了。