Test Markdownit对比MinerU

摘要

Test Markdownit对比MinerU

• 开源地址：https://github.com/microsoft/markitdown

基础用法（无大模型）

• 优点：
  • 各种文件格式都能转成markdown
  • 速度快，不到1s一张10页的论文pdf就被转换完成
• 缺点：无法OCR、处理图片，无法处理公式
  • 参考如下仓库issue，作者没有进行处理
    • https://github.com/microsoft/markitdown/issues/255
    • https://github.com/microsoft/markitdown/issues/246
    • https://github.com/microsoft/markitdown/issues/217
    • https://github.com/microsoft/markitdown/issues/163
• 举例

  from markitdown import MarkItDown
  import os
  
  def convert_pdf_to_md(pdf_filename):
      # 创建output目录（如果不存在）
      output_dir = "output"
      if not os.path.exists(output_dir):
          os.makedirs(output_dir)
  
      md = MarkItDown()
      result = md.convert(pdf_filename)
  
      # 构建输出文件路径
      output_filename = os.path.splitext(os.path.basename(pdf_filename))[0] + ".md"
      output_path = os.path.join(output_dir, output_filename)
  
      # 将结果写入文件
      with open(output_path, "w", encoding="utf-8") as f:
          f.write(result.text_content)
  
      print(f"结果已保存到: {output_path}")
  
  if __name__ == "__main__":
      pdf_filename = "demo1.pdf"
      convert_pdf_to_md(pdf_filename)

  

使用大语言模型进行图像描述

• 仓库的readme举例描述如下

  from markitdown import MarkItDown
  from openai import OpenAI
  
  client = OpenAI()
  md = MarkItDown(llm_client=client, llm_model="gpt-4o")
  result = md.convert("example.jpg")
  print(result.text_content)

• 实际运行不了；需要改成如下，并添加自己的秘钥;
  • 由于我没买过openAI的API，所以换成了Gemini进行尝试，结果运行出错，调查仓库issue发现此软件未对OpenAI之外的模型进行兼容处理；尽管使用OpenAI的API，也不能OCR；参考如下
  • https://github.com/microsoft/markitdown/issues/255
  • https://github.com/microsoft/markitdown/issues/256
  • https://github.com/microsoft/markitdown/issues/232

    from markitdown import MarkItDown
    from openai import OpenAI
    import os
    
    # 设置 OpenAI API 密钥
    api_key = input("请输入您的 OpenAI API 密钥: ").strip()
    os.environ["OPENAI_API_KEY"] = api_key
    
    client = OpenAI()
    md = MarkItDown(llm_client=client, llm_model="gpt-4")
    result = md.convert("image1.jpg")
    print(result.text_content)

Markitdown与MinerU对比

• 不同
  • Markitdown无OCR功能、无法处理图片、无法处理公式
  • Markitdown速度快，不到1s一张10页的论文pdf就被转换完成;而MinerU需要7s左右（在GPU加速下）
• 共同点
  • Markitdown、MinerU都能将各种文件格式转成markdown，包括PDF、图片、word、excel、ppt等