开发日志：python word查重

星云游

具体步骤
1.遍历所有文件
2.python 打开两个word的内容进行比对
3.1生成重复率标记文件
3.算出重复率，存储到矩阵中
4.导出excel

最终代码

1. from docx import Document
   
2. import os
   
3. import os.path
   
4. import difflib
   
5. 
   
6. path = ".\\files"
   
7. text = dict();
   
8. for parent,dirnames,filenames in os.walk(path):
   
9.     for filename in filenames:        #输出文件信息
   
10.         document = Document(path+"\"+filename)  # 读取现有的 word 建立文档对象   
    
11.         text[filename] = ""
    
12.         tables = document.tables
    
13.         for table in tables:
    
14.             # 读取表格行
    
15.             for row in table.rows:
    
16.                  # 读取每行的单元格数据
    
17.                 for cell in row.cells:
    
18.                      # 打印单元格内容
    
19.                      #print(cell.text)
    
20.                      text[filename] = text[filename]+ cell.text
    
21.                      pass
    
22.         text[filename] = text[filename].replace("\n","")
    
23.         text[filename] = text[filename].replace(" ","")
    
24.         text[filename] = text[filename].replace('\xa0','')
    
25.         text[filename] = text[filename].replace( '\u2716','')
    
26. for key1 in text.keys():
    
27.     for key2 in text.keys():
    
28.         if key1 < key2:
    
29.             similarity = difflib.SequenceMatcher(None, text[key1], text[key2]).ratio()
    
30. 
    
31.             print(key1+key2)
    
32.             print(similarity)
    
33.             if similarity>0.8:
    
34.                 print("重复率过高，抄袭的同学请主动修改！！！！")
    
35.                 differ = difflib.HtmlDiff()
    
36.                 html = differ.make_file(text[key1], text[key2]);
    
37.                 fid =open(key1+key2+'.html','w')
    
38.                 fid.write(html.replace('utf-8','gbk'))
    
39.                 fid.close

复制代码

星云游

python 操作word

1. pip install python-docx

复制代码

读取现有文档

1. from docx import Document
   
2. document = Document("word.docx")  # 读取现有的 word 建立文档对象

复制代码

读取文档内容

1. from docx import Document
   
2. 
   
3. document = Document("word.docx")  # 读取现有的 word 建立文档对象
   
4. all_paragraphs = document.paragraphs
   
5. print(type(all_paragraphs))
   
6. for paragraph in all_paragraphs:
   
7.     # print(paragraph.paragraph_format)  # 打印出word中每段的样式名称
   
8.     # 打印每一个段落的文字
   
9.     print(paragraph.text)
   
10.     # 循环读取每个段落里的run内容
    
11. # 一个run对象是相同样式文本的延续
    
12. for paragraph in all_paragraphs:
    
13.     for run in paragraph.runs:
    
14.         print(run.text)  # 打印run内容

复制代码

查看源xml文件

1. print(paragraph._p.xml)

复制代码

星云游

读取表格

1. tables = document.tables
   
2. for table in tables:
   
3.     # 读取表格行
   
4.     for row in table.rows:
   
5.         # 读取每行的单元格数据
   
6.         for cell in row.cells:
   
7.             # 打印单元格内容
   
8.             print(cell.text)
   

复制代码

星云游

文字查重

1. import difflib
   
2. text1 = 'Python is a programming language'
   
3. text2 = 'Python is a programming language.'
   
4. # 计算文本相似度
   
5. similarity = difflib.SequenceMatcher(None, text1, text2).ratio()
   
6. # 打印相似度
   
7. print(similarity)

复制代码

gaohaikuo1

查重并写进csv

1. from docx import Document
   
2. import os
   
3. import os.path
   
4. import difflib
   
5. import csv
   
6. 
   
7. path = ".\\files"
   
8. text = dict();
   
9. for parent,dirnames,filenames in os.walk(path):
   
10.     for filename in filenames:        #输出文件信息
    
11.         document = Document(path+"\"+ filename)
    
12.         print(path+"\"+ filename)
    
13.         text[filename] = ""
    
14.         tables = document.tables
    
15.         for table in tables:
    
16.             # 读取表格行
    
17.             for row in table.rows:
    
18.                  # 读取每行的单元格数据
    
19.                 for cell in row.cells:
    
20.                      # 打印单元格内容
    
21.                      #print(cell.text)
    
22.                      text[filename] = text[filename]+ cell.text
    
23.                      pass
    
24.         text[filename] = text[filename].replace("\n","")
    
25.         text[filename] = text[filename].replace(" ","")
    
26.         text[filename] = text[filename].replace('\xa0','')
    
27.         text[filename] = text[filename].replace( '\u2716','')
    
28. file = open('output.csv', mode='w', newline='', encoding='utf-8')
    
29. for key1 in text.keys():
    
30.     print(key1+"...")
    
31.     for key2 in text.keys():
    
32.         if key1 < key2:
    
33.             similarity = difflib.SequenceMatcher(None, text[key1], text[key2]).ratio()
    
34.             writer = csv.writer(file)
    
35.             writer.writerow([key1,key2,similarity])

复制代码