'commit'

dsSchoolBuddy/ElasticSearch/T3_InsertData.py

@@ -1,9 +1,8 @@
+import hashlib  # 导入哈希库
 import time
 import warnings
-import hashlib  # 导入哈希库
 
 from elasticsearch import Elasticsearch
-from langchain_core.documents import Document
 from langchain_openai import OpenAIEmbeddings  # 直接导入嵌入模型
 from pydantic import SecretStr  # 用于包装API密钥
 
@@ -16,7 +15,7 @@ warnings.filterwarnings('ignore', message='Unverified HTTPS request is being mad
 
 def insert_long_text_to_es(long_text: str, tags: list = None) -> bool:
     """
-    将长文本向量化并插入到Elasticsearch
+    将长文本向量化并插入到Elasticsearch，基于文本内容哈希实现去重
     
     参数:
         long_text: 要插入的长文本
@@ -61,36 +60,44 @@ def insert_long_text_to_es(long_text: str, tags: list = None) -> bool:
             es.indices.create(index=index_name, body=mapping)
             print(f"索引 '{index_name}' 创建成功")
 
-        # 3. 创建文档对象
+        # 3. 生成文本内容的哈希值作为文档ID（实现去重）
-        docs = [Document(page_content=long_text, metadata={"source": "user_provided_text"})]
+        doc_id = hashlib.md5(long_text.encode('utf-8')).hexdigest()
+        print(f"文本哈希值: {doc_id}")
 
-        # 4. 获取当前时间
+        # 4. 检查文档是否已存在
-        timestamp = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
+        if es.exists(index=index_name, id=doc_id):
+            print(f"文档已存在，跳过插入: {doc_id}")
+            return True
 
         # 5. 准备标签
         if tags is None:
             tags = ["general_text"]
         tags_dict = {"tags": tags, "full_content": long_text}
 
-        # 6. 直接创建嵌入模型并生成向量
+        # 6. 获取当前时间
+        timestamp = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
+
+        # 7. 直接创建嵌入模型并生成向量
         embeddings = OpenAIEmbeddings(
             model=Config.EMBED_MODEL_NAME,
             base_url=Config.EMBED_BASE_URL,
             api_key=SecretStr(Config.EMBED_API_KEY)
         )
 
-        # 7. 生成文本嵌入向量
+        # 8. 生成文本嵌入向量
         embedding = embeddings.embed_documents([long_text])[0]
 
-        # 8. 插入数据到Elasticsearch
+        # 9. 准备文档数据
         doc = {
             'tags': tags_dict,
             'user_input': long_text[:500],  # 取前500个字符作为摘要
             'timestamp': timestamp,
             'embedding': embedding
         }
-        es.index(index=index_name, document=doc)
+
-        print(f"长文本数据插入成功")
+        # 10. 插入数据到Elasticsearch（使用哈希值作为ID）
+        es.index(index=index_name, id=doc_id, document=doc)
+        print(f"长文本数据插入成功: {doc_id}")
         return True
     except Exception as e:
         print(f"插入数据失败: {e}")
@@ -99,12 +106,11 @@ def insert_long_text_to_es(long_text: str, tags: list = None) -> bool:
 
 def main():
     # 示例1：插入单个长文本
-    long_text = """混凝土是一种广泛使用的建筑材料，由水泥、砂、石子和水混合而成。它具有高强度、耐久性和良好的可塑性，被广泛应用于建筑、桥梁、道路等土木工程领域。
+    long_text = "这是一个测试长文本，用于演示基于内容哈希的去重机制。"
+    tags = ["test", "hash_deduplication"]
+    insert_long_text_to_es(long_text, tags)
 
-混凝土的历史可以追溯到古罗马时期，当时人们使用火山灰、石灰和碎石混合制成类似混凝土的材料。现代混凝土技术始于19世纪，随着波特兰水泥的发明而得到快速发展。
 
-混凝土的性能取决于其配合比，包括水灰比、砂率等参数。水灰比是影响混凝土强度的关键因素，较小的水灰比通常会产生更高强度的混凝土。"""
-    insert_long_text_to_es(long_text, tags=["construction", "materials"])
 
 if __name__ == "__main__":
     main()