Skip to content

About

本地优先的个人知识库与 RAG 检索层。支持 DOCX/XLSX/PDF/EML/XMIND 多格式解析,Office/WPS/LibreOffice 适配器,SQLite FTS5 全文检索与证据下钻,表格投影聚合,PDF OCR 与版面分析,批量入库与续跑,方法卡与教训沉淀。Local-first personal knowledge base & RAG retrieval: multi-format parsing, FTS5 search, evidence drill-down, table analysis, PDF OCR, batch ingest.

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

1 Commit

Folders and files

Repository files navigation

lived-knowledge

版本:0.5.0-beta.1 · beta 通道(首次公开发布)

从用户指定的资料中保留可核对证据,进行跨文件组合分析,并沉淀有出处的方法候选。血统为 wb-lived-knowledge,对外名称和未来安装目录名为 lived-knowledge,两者独立管理。

这是可运行的本地开发核心,不代表 M1 或完整产品已经验收。可按用户授权本地安装,客户端实际安装与验收以本机部署收据为准。用户明确要求:未明确生成发布版前不定为 1.0;里程碑编号 M1–M5 不对应版本号。

能力总览

解析与入库

  • 用户指定来源目录与知识库目录;批量扫描、内容哈希增量识别、逐文件收据和续作。见 输入与更新流程。
  • 单库 SQLite 权威记录、不可变解析镜像、源哈希/解析协议/版本、UTF-8 收据。
  • 显式字段精确查询、中文子串检索和原证据下钻;摘要不会覆盖表格事实。
  • 加密 PDF 密码仅通过隐藏提示或 stdin 单次传入,不写入作业、收据、meta 或证据。
  • Office 临时锁文件(~$)单列跳过,不计入失败。

Office 与文档格式

  • Word/Excel 经本机 COM 适配器读取旧版 .doc/.xls(需 --trusted-office,不下载不捆绑);Word 2007(v12)走 SaveAs 回退,v14+ 用 SaveAs2;Excel 门槛主版本 11。
  • 可选 WPS COM 回退 --allow-wps(显式授权,未授权时 WPS 伪装应答结构化拒绝);可选跨平台 LibreOffice headless --soffice-headless(私有 profile、超时只杀自有进程树)。两者均 opt-in、检测不下载、真机保真度待回验。
  • 原生进程退出码非 0 不再推翻已成功的结构化结果,仅记 NATIVE_PROCESS_EXIT_WARNING 告警。
  • 超大 Excel 护栏(225 万单元格)拒绝时附 sheet/有意义尺寸/声明尺寸,区分真超大表与引擎边界探测虚高。
  • 拒绝或解析失败的回执恒带 file_name 与 source(绝对路径),可直接定位文件。

PDF 解析

  • 单 PDF 页级体检 pdf-checkup(空页/图片对象/疑似双栏/加密态/章节树摘要/建议路由,不渲染不 OCR 不写库)。
  • PDF 证据优先采用书签章节树,无书签时字号启发式恒标 provisional;疑似双栏只发警告进复核队列,绝不自动重排。
  • 可选 context=full 机械注入「文档>章节>页」头部(无邻句、无向量)。
  • 逐页台账 pdf-pages 与三层质量清单 pdf-quality-report(解析/结构/证据,逐条闭口动作)。
  • 图片型 PDF 可选增强路径(分段渲染 + Pillow 预处理 + 逐页 OCR + checkpoint 续跑)。

文本与其他格式

  • .txt/.md/.csv/.tsv 编码链:BOM → 严格 UTF-8 → GB18030 兜底可见,GB18030 结果附 ENCODING_FALLBACK_APPLIED 警告。
  • .eml(信头+text/plain 正文,附件只登记不提取)、.xmind(话题树)零依赖适配器;.ppt/.vsd 识别但默认不启用。
  • 图片(jpg/png/bmp/tif 等)默认返回需显式 OCR,--ocr-windows 调用本机 Windows OCR,结果均为待复核证据。
  • 压缩包(zip/tar 标准库;7z/rar 探测本机工具)受控解包,zip-slip 拒绝、成员数/体积硬上限。

批处理与可观测性

  • batch-preflight 起跑前确定性预检(缺依赖、信任缺口、环境探测可选;不写清单不入库)。
  • batch-progress 只读租约心跳与 run_state(running / suspected_interrupted / paused / completed 等,绝不自动重启)。
  • batch-report 跨回执失败画像;batch-profile 错误码处置建议与 next_actions 模板。
  • batch-resume 按最近未完成收据自动续跑未完成/失败/新增项。
  • 长任务零 token 运行公约:禁止 sleep 轮询,进度以磁盘收据为准。

检索与分析

  • 可重建 SQLite FTS5 索引,零命中或不支持时回退精确子串匹配。
  • table-profile/project 先读表结构再按显式字段投影可追溯行;aggregate 分组聚合(复用质量门禁)。
  • table-facts opt-in 一行一事实派生(单位只认显式映射、不推断年份、不存储不建卡)。
  • navigation-index 证据下钻索引;reading-plan 长文分块。

迁移与备份

  • 完整包 export-full-pack/import-full-pack、个人包 export-personal-bundle/import-personal-bundle、方法包 export-method-pack/import-method-pack、脱敏包 export-pack/import-pack。
  • stats 只读库体检;restore --verify-only 恢复收据校验;一致性快照与新目录恢复。

升级通道

  • GitHub 仓库 davidwei-evolution/lived-knowledge;scripts/release_update.py 五段命令(check/download/verify-archive/plan-install/install),三段授权、归档安全校验、原子切换与失败回滚。流程见 升级流程。

格式与环境范围

输入/环境 当前范围 限制
UTF-8 CSV/TSV/TXT/Markdown 标准库读取 不自动猜 GBK;大文件/表格有上限
XLSX/XLSM openpyxl 可用时保留单元格值、类型、格式、公式与缓存、隐藏/合并信息;门禁按真实有值/公式格,稀疏表不展开空白矩形 XLSM 不执行或保留宏;有公式、隐藏、合并或稀疏镜像告警的表不进入自动统计;不重算公式
DOCX 正文段落与简单表格、页眉/页脚/脚注/文本框文字、结构坐标 图像、图表、尾注、文本框表格未覆盖;多页眉部件无法按页归属(有告警);非完整 Office 保真
PDF pypdf 可用时页级文本 + 页级画像:逐页嵌入字符/空页/图片对象计数/疑似双栏、outline 章节树(无书签退字号 provisional)、跨页标记;pdf-checkup 库外体检 无文本要求 OCR;双栏只标记不重排(阅读序需人工核对);版面、图片、表格未验证,混合页有告警;字号章节树恒为 provisional
PPTX 幻灯片 XML 文本试验 备注、图表、图像未覆盖;不宣称完整解析
PPT 已识别(T1),默认稳定返回 FORMAT_NOT_ENABLED 不解析旧二进制;请另存为 .pptx
EML 标准库零依赖:信头表与 text/plain 正文(含传输编码/GBK) HTML 与附件只登记不提取;不取外部资源
XMIND 标准库零依赖:v8+ content.json 话题 title/labels/notes,旧版 content.xml 纯文本 深度上限 50;非 zip/缺 content 确定性 PARSE_FAILED
XLS/DOC 显式启用已安装的 Windows Office;真实二进制合成文件已验证;起跑前可用 batch-preflight 探测安装与版本 仅可信文件;坐标可能是转换后结构,不是原页面;非完整保真
PDF OCR 显式启用已安装 Windows OCR;合并镜像保留嵌入文本页,仅给无文本层页挂接逐行 OCR 与字框,逐页 page_audit 合成清晰中文样本仍有日期识别错误;OCR 行需要人工校核;不推断表格结构;嵌入提取失败时回退 OCR-only 并告警
图片 OCR(JPG/JPEG/PNG/BMP/TIF/TIFF/JFIF) 显式 --ocr-windows 调用本机 Windows OCR,输出逐行 OCR 证据 默认不处理;真实设备 OCR 尚待验收;所有结果需人工校核;WEBP/HEIC/GIF 未启用
Codex 本机 CLI 开发验证 不等于安装/触发验收
Workbuddy/千问办公 小范围验证成功,但不保证完整支持 不从 Codex 成功推出兼容

Python 3.10+,标准库可执行基础功能;可选依赖不会自动安装。运行 python -B scripts/knowledge.py doctor 查看当前解释器依赖。不同解释器组件可能不同。安装后的最低 TXT/CSV 链路、可选依赖门槛及前台客户端记录见 安装与客户端验收。

受控资料上限:单输入 32 MiB;ZIP 展开 128 MiB、最多 10000 条目;XLSX/XLSM 单工作表最多 2250000 个真实有值/公式单元格,可信旧 XLS 仍按有效矩形门禁;OCR最多30页。Excel 的声明尺寸、有效 bounds、稀疏格数和矩形格数会保留或在超限收据中给出,稀疏表不展开空白矩形。该上限不是大规模 Excel 容量承诺;超过上限仍拒绝。默认解析器不调用 Office;显式原生适配会调用 Office,关闭普通自动化宏及链接更新,但不能当作敌意文件沙箱。仅处理用户确认可信的旧 Office 文件。

运行与验证

python -B scripts/knowledge.py doctor
# 仅源码仓库可运行(测试安装包内不含 tests/ 目录,在包内照此执行必然失败):
python -B -m unittest discover -s tests -v

在已授权私人数据位置使用 --root 和 --library 初始化;见 命令协议。不要把真实公司资料或私人库放进本源码目录。当前仅对 user-approved host-allowed 库开放内容;local-only 内容链路尚未实现,不能通过改标记规避外发限制。

网络盘和常见 OneDrive 根会被拒绝;其他同步盘不能可靠自动识别,用户指定目录仍须确认不是同步/共享目录。同 OS 账户的进程能直接读明文文件,库 ID 是防串库检查,不是访问控制或加密。

安装与升级

发布源固定为 GitHub Releases:https://github.com/davidwei-evolution/lived-knowledge。升级经 scripts/release_update.py 分三段独立授权完成(check → download → verify-archive → plan-install → install):只接受 Releases HTTPS 附件并按发布页 SHA-256 核对;归档做单根目录/ 路径穿越/链接/大小写碰撞/CRC/体积与 CORE 血统校验;安装由当前可信版本的 install_cover 做 原子切换(旧目录备份保留、后验 doctor 失败自动回滚),候选包代码绝不被导入或执行。否定的 检查结果必须以 Releases 网页交叉复核。完整流程见 升级流程;维护者 打包用 python -B scripts/release_pack.py(离线、只写 dist/)。

后续

WorkBuddy 与千问办公前台尚无可观察窗口,没有兼容通过结论;可先用 acceptance_harness.py 与客户端验收记录逐端补验。没有命令的能力不能借直接数据库写入假装已经支持。版本只按明确的开发/发布决定变更。

About

本地优先的个人知识库与 RAG 检索层。支持 DOCX/XLSX/PDF/EML/XMIND 多格式解析,Office/WPS/LibreOffice 适配器,SQLite FTS5 全文检索与证据下钻,表格投影聚合,PDF OCR 与版面分析,批量入库与续跑,方法卡与教训沉淀。Local-first personal knowledge base & RAG retrieval: multi-format parsing, FTS5 search, evidence drill-down, table analysis, PDF OCR, batch ingest.

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages