python

关注公众号 jb51net

关闭
首页 > 脚本专栏 > python > llama Index训练pdf

使用llama Index帮你训练pdf的示例详解

作者:Ronny说

这篇文章主要为大家介绍了使用llama Index 帮你训练pdf,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

llama Index是什么

《零开始带你入门人工智能系列》第一篇:还用什么chatpdf,让llama Index 帮你训练pdf

LlamaIndex 是您的外部数据和 LLM 之间的一个简单、灵活的接口。它以易于使用的方式提供了以下工具:

为您现有的数据源和数据格式(API、PDF、文档、SQL 等)提供数据连接器

为您的非结构化和结构化数据提供索引,以便与 LLM 一起使用。这些索引有助于抽象出情境学习的常见样板和痛点:

这里只是LlamaIndex应用的冰山一角,还可以挖掘更多好玩的功能

下面让我一步步来教你如何实现

第一步:安装依赖

requirements.txt
Flask==2.2.3
Flask-Cors==3.0.10
langchain==0.0.115
llama-index==0.4.30
PyPDF2==3.0.1

我们需要部署一个web服务,这里我使用了Flask,你也可以使用fastapi 或者django实现。其次我们使用llama-index作为索引进行pdf查询。

第二步:训练数据和构建索引的server

index_server.py
import os
import pickle
# 这里可以换成你自己的key,但是最好不要上传到github上
os.environ['OPENAI_API_KEY'] = ""
from multiprocessing import Lock
from multiprocessing.managers import BaseManager
from llama_index import SimpleDirectoryReader, GPTSimpleVectorIndex, Document
index = None
stored_docs = {}
lock = Lock()
# 保存index的json文件
index_name = "./index.json"
# 保存文档的pkl文件 用于保存文档的id和文本,这样客户端就可以查询到文档的列表了
pkl_name = "stored_documents.pkl"
def initialize_index():
    """初始化index,如果已经存在index,就使用已经训练好的index,否则就创建一个新的index"""
    global index, stored_docs
    with lock:
        if os.path.exists(index_name):
            """使用已经训练好的index"""
            index = GPTSimpleVectorIndex.load_from_disk(index_name)
        else:
            """使用GPTSimpleVectorIndex创建一个新的index 这里是llama_index的一个bug,如果你不传入一个空的list,就会报错 """
            index = GPTSimpleVectorIndex([])
            index.save_to_disk(index_name)
        if os.path.exists(pkl_name):
            with open(pkl_name, "rb") as f:
                stored_docs = pickle.load(f)
def query_index(query_text):
    """查询index 根据你查询的文本,返回一个response"""
    global index
    response = index.query(query_text)
    return response
def insert_into_index(doc_file_path, doc_id=None):
    """将文档插入到index中,插入的文档可以是一个文件,也可以是一个字符串,
    如果doc_id不为空,就使用doc_id,否则就使用文件名作为doc_id"""
    global index, stored_docs
    document = SimpleDirectoryReader(input_files=[doc_file_path]).load_data()[0]
    if doc_id is not None:
        document.doc_id = doc_id
    # Keep track of stored docs -- llama_index doesn't make this easy
    stored_docs[document.doc_id] = document.text[0:200]  # only take the first 200 chars
    with lock:
        index.insert(document)
        index.save_to_disk(index_name)
        with open(pkl_name, "wb") as f:
            pickle.dump(stored_docs, f)
    return
def get_documents_list():
    """查询保存的文档列表,返回一个list"""
    global stored_doc
    documents_list = []
    for doc_id, doc_text in stored_docs.items():
        documents_list.append({"id": doc_id, "text": doc_text})
    return documents_list
if __name__ == "__main__":
    # 初始化index, 如果已经存在index,就使用已经训练好的index,否则就创建一个新的index
    print("initializing index...")
    initialize_index()
    # 启动服务器,监听5602端口
    manager = BaseManager(('127.0.0.1', 5602), b'123456')
    # 注册使用到的函数,这样客户端就可以调用这些函数了
    manager.register('query_index', query_index)
    manager.register('insert_into_index', insert_into_index)
    manager.register('get_documents_list', get_documents_list)
    server = manager.get_server()
    print("server started...")
    server.serve_forever()

注意上面的OPENAI_API_KEY需要修改为你自己的,否则执行initialize_index函数会提示报错

最后,成功启动

$ python index_server.py
initializing index...
server started...

总结时刻

教程使用了Flask、llama-index、PyPDF2等库,通过搭建web服务,使用llama-index作为索引,最后提供一个交互界面进行pdf的内容查询。

如果您有相关的问题需要进一步解答,欢迎提问!有需要的赶紧转发给你的好友吧

今天的内容就到这里了,下期我们继续完善这个项目,提供一个Flask服务,然后可以支持接口调用,还会做一个简单的ui进行文档处理,敬请期待。

以上就是使用llama Index 帮你训练pdf的示例详解的详细内容,更多关于llama Index 训练pdf的资料请关注脚本之家其它相关文章!

您可能感兴趣的文章:
阅读全文