# rag-doc-knowledge

**Repository Path**: tfso/rag-doc-knowledge

## Basic Information

- **Project Name**: rag-doc-knowledge
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-07-27
- **Last Updated**: 2026-07-27

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 文档知识库升级方案

> 基于 Graphify 代码图谱层之上，升级文档知识库层的完整方案。
> 规模：500万行代码 + 500+ 文档
> 目标：从「能用」升级到「生产级」

## 项目结构

```
rag-doc-knowledge/
├── docs/                   # 方案文档
├── app/                    # 核心代码
│   ├── parser/             # 文档解析（6 种格式）
│   ├── splitter/           # 智能分块（5 种策略）
│   ├── retriever/          # 混合检索
│   ├── reranker/           # bge-reranker
│   ├── rewriter/           # Query 改写
│   └── pipeline/           # 端到端 Pipeline
├── eval/                   # 评测体系
├── config/                 # 配置文件
└── tests/                  # 测试用例
```

## 快速开始

```bash
# 安装依赖
pip install -r requirements.txt

# 入库文档
python -m app.pipeline.ingest --input ./documents --type general

# 启动问答服务
python -m app.pipeline.query --port 8000

# 跑评测
python -m eval.eval_runner --dataset eval/v1/eval_v1.jsonl
```

## 技术栈

| 层 | 技术 |
|---|---|
| 文档解析 | Marker / python-docx / python-pptx / BeautifulSoup |
| 分块 | LlamaIndex + 自定义类型感知 |
| Embedding | bge-m3 / Qwen3-Embedding |
| 检索 | 向量 + BM25 + RRF 融合 |
| 重排 | bge-reranker-v2-m3 |
| 向量库 | Milvus / Qdrant |
| LLM | Qwen-Plus（流式 SSE） |

## Roadmap

- [x] 阶段 1：基础建设（评测集 + 解析升级）
- [x] 阶段 2：检索增强（混合检索 + Rerank）
- [x] 阶段 3：智能升级（Query 改写 + Pipeline）
- [x] 阶段 4：生产化（监控 + 版本管理）

详细方案见 `docs/文档知识库升级方案.md`

## License

MIT