You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
dsProject/dsLightRag/Doc/下一步需要研究的技术内容.txt

52 lines
2.0 KiB

This file contains ambiguous Unicode characters!

This file contains ambiguous Unicode characters that may be confused with others in your current locale. If your use case is intentional and legitimate, you can safely ignore this warning. Use the Escape button to highlight these characters.

一、目前完全依赖于Postgresql的存储方案可能存在性能上的问题
https://github.com/HKUDS/LightRAG/issues/1277
PostgreSQL AGE performance issues have been resolved since v1.3.3. You can pull the latest version from the main branch and give it a try.
However, for large-scale deployments, however, we recommend using Neo4j.
翻译PostgreSQL AGE的性能问题已经在V1.3.3中解决我们使用的是V1.3.9>V1.3.3
但是对于大规模的数据我们推荐使用Neo4j!
这就意味着我们需要继续研究向Neo4j进行迁移的问题。
https://github.com/HKUDS/LightRAG/issues/1363
此外LightRAG 的 PostgreSQL 存储实现目前存在一些尚未解决的性能问题,尤其是在 AGE 图存储方面。我们建议使用 MonogoDB 来处理 KV 和 Vector 数据,并使用 Neo4j 作为图存储解决方案。
LightRAG 与 Neo4j 社区版无缝运行。
Lightrag mongo 示例不存储数据 #843
https://github.com/HKUDS/LightRAG/issues/843
修复 mongo 文档状态 #1160
https://github.com/HKUDS/LightRAG/pull/1160
二、深入研究Postgresql中向量库+图数据库的使用
1、向量库的使用
PostgreSQL - pgvector 插件构建向量数据库并进行相似度查询
https://blog.csdn.net/fenglingguitar/article/details/142357092
2、Python中使用PostgreSQL和Apache AGE扩展来绘制和显示图表
https://blog.csdn.net/u014158430/article/details/144942197
三、深入学习LightRAG的维护
https://github.com/HKUDS/LightRAG/blob/main/README-zh.md
(1)编辑实体和关系
(2)删除功能
(3)实体合并
(4) 尝试用python+postgresql+age 绘制出指定主题的知识图谱
四、需要为文档入库提供两个工具:
1、音频转文字视频转文字
教程 | 用 openai 开源模型 whisper 实现音频转文字
https://www.53ai.com/news/OpenSourceLLM/2024071482650.html
2、PDF转office
Python简单使用MinerU
https://blog.csdn.net/make_progress/article/details/145802697