企业知识库建设前，需要先整理哪些数据？

企业建设 AI 知识库时，最常见的误解是：“先把所有 Word、PDF 和内部资料上传，系统自然就能回答问题。”

文件数量并不等于知识质量。资料过期、版本冲突、权限不明或缺少来源，即使模型能力很强，也可能更快地传播错误信息。

知识库建设前真正需要准备的，不只是文件，而是一套能够回答以下问题的数据基础：有什么资料、谁有权使用、哪一版有效、适用于什么范围、由谁更新，以及怎样判断回答是否正确。

将检索增强生成（RAG）定义为：模型与独立的信息检索系统或知识库配合，根据用户问题检索相关信息，再把这些信息提供给模型形成回答。这一机制可以在不重新训练模型的情况下更新知识，但也说明回答质量会直接受到知识库内容和检索质量影响。

第一步：先确定知识库要服务什么问题

资料整理应从业务场景开始，而不是从共享盘开始。先明确：

• 谁会使用知识库；
• 他们在什么工作环节提问；
• 当前哪些问题最耗时、最容易答错；
• 系统需要给出答案、摘要、操作步骤，还是只帮助定位原文；
• 哪些问题必须转交人工；
• 改善效果如何衡量。

例如，“建立公司知识库”范围过大。更适合启动的目标是：“让售后人员在处理安装、保修和故障咨询时，能够从已生效的产品手册、服务政策和历史标准答案中检索信息，回答必须标注来源，涉及例外条款时转交主管确认。”

目标不同，需要整理的数据也不同。售后知识库需要产品手册、故障处理和服务政策；销售助手可能需要产品资料、报价规则和客户问答；内部制度助手则需要规章制度、流程说明、表单和责任部门信息。不要为了追求“大而全”，把与首期目标无关的资料全部纳入。

第二步：建立一份资料资产目录

先盘点资料，不要立即上传。建议以表格建立资料目录，每一项至少记录：

这张目录的作用是让企业先“看见”自己的知识资产。我国《国家数据标准体系建设指南》将数据调查盘点、数据资源登记和数据质量管理列为数据治理标准的重要内容；虽然企业知识库的规模可能更小，但先盘点、再治理的原则同样适用。来源：国家发展改革委等《国家数据标准体系建设指南》

盘点时不要忽略散落在个人电脑、聊天记录、邮件和纸质资料中的知识，但这些内容不能未经确认就直接进入正式知识库。应先明确权属、真实性、使用范围和维护责任。

第三步：区分“可以找到”与“可以使用”

企业拥有某份文件，不代表所有员工或 AI 系统都可以使用它。正式接入前需要核对：

1. 权属：资料由企业自行形成，还是来自客户、供应商、合作伙伴或公开网络？
2. 授权：企业是否有权复制、加工、检索和用于 AI 问答？
3. 个人信息：是否包含姓名、手机号、身份证件、健康、财务或其他个人信息？
4. 商业秘密：是否包含报价、合同、源代码、客户名单、配方、工艺或经营数据？
5. 访问范围：哪些部门和岗位可以查询全文，哪些只能看到摘要或部分字段？
6. 保留期限：资料需要保存多久，到期后如何归档或删除？

数据应先分类，再根据重要性、敏感程度和潜在危害确定保护级别，并配置相应的权限与安全措施。工业和信息化部发布的工业数据分类分级指南也要求企业结合业务流程和系统设备梳理数据，形成分类清单，并在业务或系统发生重大变化时更新结果。来源：工业和信息化部《工业数据分类分级指南（试行）》

具体分类名称可以结合企业实际制定。关键是让权限规则能够落到系统中，而不是只在文件夹名称或员工经验中存在。

第四步：清理失效、冲突和无法解释的内容

知识库最危险的问题不是“没有答案”，而是把已经失效的内容当成现行规则回答。

建议对资料进行以下检查：

• 是否存在多个名称相近、内容不同的版本；
• 是否标注发布日期、生效日期和失效日期；
• 新制度是否已经替代旧制度；
• 产品型号、价格、服务范围和联系人是否仍然有效；
• 扫描件是否完整、清晰，表格和图片是否能够被正确识别；
• 文档中的附件、链接和引用是否仍可访问；
• 内容是否存在明显错误、缺页、乱码或重复；
• 同一问题在不同部门是否有相互冲突的说法。

遇到冲突时，不要让技术团队自行判断哪份正确。应由资料负责人给出结论，并保留冲突处理记录。无法确认的资料可以进入“待核验区”，但不应进入正式问答范围。

为了控制首期工作量，可以按“高频使用、高业务影响、高风险”确定清理顺序。不是每份历史资料都需要在第一阶段完成数字化。

第五步：为资料补充可检索的元数据

文件名只能提供有限信息。为了提高检索、过滤和权限控制能力，需要为资料补充元数据。常用字段包括：

• 标题和内容摘要；
• 业务主题与关键词；
• 产品、项目、地区、客户类型或适用部门；
• 发布部门与资料负责人；
• 版本号、生效日期和失效日期；
• 保密等级与可访问角色；
• 原始来源和原文链接；
• 更新频率与下次复核日期；
• 当前状态及替代文件编号。

元数据应优先使用企业已经确定的产品名称、部门名称和业务分类，避免同一概念出现多种写法。例如“售后部”“客户服务部”“客服团队”如果代表同一组织，应建立统一名称或映射关系。

同时，要保留原始文件与处理后内容之间的关联。系统回答引用某一段内容时，应能够追溯到原文件、版本和具体位置。生成式 AI 风险管理资料建议记录数据来源、类型、起源及 RAG 等适配过程，并持续监测内容表现和可信度。

第六步：根据内容形式制定解析规则

企业资料通常不是整齐的纯文本。不同形式需要不同处理方式：

Word、PDF 和网页

需要识别标题层级、段落、列表、页眉页脚、注释和附件，尽量保留章节关系。不能只按固定字数粗暴切分，否则规则的条件和结论可能被拆开。

Excel 和业务表格

先确认每个字段的业务含义、单位、时间范围和关联键。复杂表格通常需要转换成结构化记录或业务规则，直接把整张表当作文本可能导致检索失真。

扫描件和图片

需要进行 OCR，并抽样核对数字、型号、金额、日期和表格结构。识别结果不能默认正确，低质量扫描件应先补扫或人工校正。

工单、邮件和聊天记录

这类资料包含真实经验，但也可能有个人信息、临时说法和未经确认的结论。建议脱敏、去重、按问题与处理结果重组，再由业务负责人筛选为标准案例。

音频和视频

需要先转写，再关联说话人、时间点和原始媒体。培训视频中的演示步骤可能依赖画面，只有文字转写未必能够完整表达。

技术团队可以负责解析和结构化，但“怎样切分才不破坏业务含义”需要业务人员参与确认。

第七步：建立版本、更新和下架机制

知识库不是一次性项目。企业应在上线前明确：

• 哪个部门可以新增或修改资料；
• 谁负责审核并发布正式版本；
• 新版本生效后，旧版本是下架还是保留历史查询；
• 资料到期前是否自动提醒负责人复核；
• 组织、产品和制度变化后，哪些内容需要同步更新；
• 员工发现错误时，通过什么渠道反馈；
• 紧急错误能否立即停用相关内容；
• 更新后是否需要重新运行测试问题集。

建议至少保留“草稿、待审核、已发布、已失效”四种状态，并让每份正式资料都有负责人和下次复核日期。知识库长期失效，往往不是模型问题，而是没有把内容维护变成明确的业务职责。

国务院办公厅发布的政务大数据体系建设指南强调数据源鉴别、分类分级、可用性自查，以及问题可反馈、过程可追溯、质量可定责。企业可借鉴其中的治理思路，建立适合自身规模的责任链，而不必照搬政务体系。来源：国务院办公厅《全国一体化政务大数据体系建设指南》

第八步：提前准备一套真实测试问题

没有测试问题，就无法判断知识库是否真的可用。建议从实际业务中收集并整理：

1. 高频、答案明确的问题；
2. 需要组合多份资料才能回答的问题；
3. 容易混淆产品、版本或地区的问题；
4. 权限不同的用户会得到不同范围答案的问题；
5. 资料中没有答案、系统应该拒答或转人工的问题；
6. 历史上曾经答错、漏答或造成返工的问题；
7. 涉及敏感信息、越权查询和诱导泄露的安全问题。

每个问题应记录标准答案、允许的表达范围、依据资料、适用版本、可访问角色和预期处理方式。测试集不宜全部由项目团队编写，应邀请实际使用者和资料负责人共同提供，并保留一部分未参与调试的问题用于验收。

评价时不能只看“回答像不像”。至少检查：

• 是否检索到正确资料；
• 回答是否准确、完整并符合适用条件；
• 引用是否能够回到有效原文；
• 不确定时是否会拒答或转人工；
• 是否遵守用户权限；
• 更新资料后是否使用新版本；
• 响应时间和单次成本是否可接受。

一份可以直接执行的数据准备清单

知识库启动前，建议至少形成以下六项交付物：

不要求所有资料达到完全一致后才开始项目。更实际的做法是选定一个业务范围，先把这六项基础资产整理到可验证的程度，再建设解析、检索、权限和问答能力。

鑫宇科创建议的分阶段推进方式

结合企业知识库项目的工程实践，可以分四个阶段推进：

1. 知识资产梳理与权限盘点：明确首期业务范围，形成资料目录、责任人和权限矩阵。
2. 数据清洗与向量化适配：处理版本、重复、扫描件和结构问题，设计符合业务语义的切分与元数据规则。
3. 小范围业务灰度与评测：使用真实问题集验证检索、回答、引用、权限和拒答能力。
4. 全面上线与持续增量更新：建立审核、发布、反馈、监测和定期复核机制。

这套路径的重点不是一次性导入最多资料，而是让每条知识都有来源、范围、权限、责任和验证依据。

如果企业资料分散在共享盘、OA、Wiki、工单和个人电脑中，可以先从企业 AI 知识库的资料盘点与方案评估开始。完成基础治理后，再决定首期范围、技术架构和实施节奏，能够显著减少后期清洗、权限重构和错误回答带来的返工。