這個指南會簡單介紹一下如何使用 Python 創建一個維護 wiki 的自動程序/機器人(bot),它可用於在 wiki 上面進行大量編輯或者刪除等維護操作。使用它的好處在於,只要您編寫過 Python程序,就可以輕鬆上手。
注意:閱讀以下內容,我們假定您擁有 Python 和命令行的基本知識。欲學習 Python,請前往官方文檔等其他站點。
Pywikibot是目前最常用的wiki編輯Python庫。除此之外,我們還會用到wikitextparser和requests。只需在命令行[注 1]中輸入
python3 -m pip install requests python3 -m pip install wikitextparser
即可。注意:由於部分作業系統同時包括Python2和Python3,因此推薦在命令中使用python3而不是python。但如果python3命令無法被識別,請使用python命令。
從官網下載初始文件「core_stable.zip」,將其解壓。
解壓後會出現一個叫「core_stable」的文件夾,在文件夾中創建一個名為user-config.py
的文件[注 2]。文件的內容為:
mylang = 'mgp'
family_files['mgp'] = 'http://zh.moegirl.tw/api.php'
family = 'mgp'
# 這裡使用您自己的用戶名
usernames['mgp']['*'] = '用戶名'
password_file = "user-password.py"
然後,創建一個名為user-password.py
的文件存儲用戶名和密碼。這裡的帳號必須是自動確認使用者,否則會因為驗證碼編輯失敗。
如果沒有創建bot帳號(見下文),文件內容為:
# 強烈不推薦這種登錄方式:將不加密的密碼存儲在文件中是很大的安全隱患。
('mgp', 'mgp', '用戶名', '密碼')
如果已有bot帳號,文件內容為:
('mgp', 'mgp', '用戶名', BotPassword('bot用戶名', 'bot密碼'))
因為pywikibot目前的登錄邏輯和本站對部分API的限制。請將core_stable/pywikibot/site/_apisite.py
文件APISite
類的get_token()
方法中
if not types or load_all is not False: pdata = self._paraminfo.parameter('query+tokens', 'type') assert pdata is not None types = pdata['type']
部分代碼替換為:
if not types or load_all is not False: if self.logged_in(): pdata = self._paraminfo.parameter('query+tokens', 'type') assert pdata is not None types = pdata['type'] else: types = ['login']
接下來,在控制檯中使用cd
命令進入「core_stable」文件夾,並執行以下命令[注 3]
python3 pwb.py login
登錄,此時會出現數行文字,最後一行應為提示登錄成功[注 4]。
Logged in on mgp:mgp as 用戶名.
在解壓的pywikibot文件夾中新建一個名為main.py
的文件(與config.py處於同一個文件夾)。文件的內容為:
# 導入pywikibot
import pywikibot as pwb
# 獲取名為Help:沙盒的頁面
page = pwb.Page(pwb.Site(), "Help:沙盒")
# 給頁面已有的內容添加Hello World
page.text += "Hello World"
# 可選:查看更改後的wikitext文本
print(page.text)
# 保存頁面,編輯摘要為"測試pywikibot"
page.save(summary="測試pywikibot")
在控制檯輸入python3 main.py
運行機器人,稍等片刻後,輸出應為
...(頁面已有內容) Hello World Page [[Help:沙盒]] saved
前往萌百,會發現這次修改已經在沙盒中生效。
有一天,萌百的維護組給全體編輯們佈置了一個艱巨的任務:因為{{YoutubeCount}}廢棄了fallback
參數,所以每一個使用YoutubeCount模板的頁面都要被修改。例如
{{YoutubeCount|id=0KK5vQlCVYo|fallback=2968013}}
應改為
{{YoutubeCount|id=0KK5vQlCVYo}}
維護組已經給出了需要修改的條目的列表,但是除了少數想刷編輯的用戶外,沒有人願意幹這種毫無技術含量的體力活,刪除參數的事情因而進展緩慢[注 5]。這時,聰明的你突然想到可以用Python完成批量刪除參數,因此寫出了以下代碼用來測試。
# 導入pywikibot和wikitextparser
import pywikibot as pwb
import wikitextparser as wtp
# 獲取一個頁面,用頁面名代替沙盒
page = pwb.Page(pwb.Site(), "Help:沙盒")
# 使用wikitextparser處理頁面
parsed = wtp.parse(page.text)
# 遍歷頁面中的每一個模板
for t in parsed.templates:
# 如果模板是YoutubeCount,則刪除fallback參數
if t.name == 'YoutubeCount':
t.del_arg("fallback")
# 用轉換後的wikitext替換已有的wikitext
page.text = str(parsed)
# 保存頁面並標記為小編輯(如果沒有做出任何更改,會提示保存成功,但是頁面不會有任何變化)
page.save(summary="刪除fallback參數", minor=True)
接下來,只要讀取需要更改的條目列表,然後對每個條目重複以上步驟即可。
除了用於刪除參數的del_arg
,wikitextparser還提供了用於獲取模板參數的get_arg
和用於添加、修改參數的set_arg
,以及更多功能。詳情見API文檔和下一個示例。
假如有這樣一個模板[注 6]:
{{VOCALOID_Songbox
|亂七八糟的參數
|yt_id = 0KK5vQlCVYo
|其他資料 = 於2014年10月5日投稿至niconico,再生數為{{NiconicoCount|id=sm24626484}}<br>同日投稿至YouTube,再生數為1,993,000+
}}
突然,我們得知{{YoutubeCount}}可以自動獲取YouTube視頻的播放量,因此原有的"1,993,000+"可以被替換為{{YoutubeCount|id=0KK5vQlCVYo}}。因為需要修改的頁面過多,所以需要機器人輔助編輯。
程序的大概思路是:
{{YoutubeCount|id=0KK5vQlCVYo}}
。雖然可以通過正則匹配查找模板和參數,但是有更簡單的方法:使用wikitextparser。以下是編輯一個條目的代碼:
# 導入pywikibot和wikitextparser
import pywikibot as pwb
import wikitextparser as wtp
# 使用正則查找播放量
import re
# 獲取一個頁面,用頁面名代替沙盒
page = pwb.Page(pwb.Site(), "Help:沙盒")
# 使用wikitextparser處理頁面
parsed = wtp.parse(page.text)
# 記錄頁面有無變化
changed = False
# 遍歷頁面中的每一個模板,並找出所有的VOCALOID_Songbox。
song_boxes = []
for t in parsed.templates:
# 添加所有名字是VOCALOID_Songbox的模板
if "VOCALOID_Songbox" == t.name.strip():
song_boxes.append(t)
# 遍歷所有songbox
for t in song_boxes:
# 獲取YouTube視頻的id和“其他資料”參數的內容
# 使用get_arg返回的是一個對象,包含name(參數名)和value(參數值)
# 不存在的參數則會返回None
yt_id = t.get_arg("yt_id")
other_info = t.get_arg("其他資料")
# 如果兩者中的任意一個不存在,則跳過該模板(有可能YouTube無投稿)
if yt_id is None or other_info is None:
continue
# 可選:此時的yt_id.value就是YouTube視頻的id
print(yt_id.value.strip())
# 使用正則查找播放量,僅為簡單例子,實際使用時的正則會更復雜。
match = re.search("[0-9][0-9,]+[+]", other_info.value)
# 如果找不到播放量,跳過
if match is None:
continue
# 找出數字播放量開始和結束的位置
start = match.start()
end = match.end()
# 新模板。使用strip去除YouTube視頻id中的空格。
template = "{{YoutubeCount|id=" + yt_id.value.strip() + "}}"
# 修改“其他信息”的值,將原有內容中的數字部分替換為模板
other_info.value = other_info.value[:start] + template + other_info.value[end:]
# 標記頁面已修改
changed = True
# 如果頁面被修改過,保存更改,否則告知用戶條目沒有被修改
if changed:
# 將修改後的wikitext對象轉換為字符串,並用它覆蓋頁面原有的內容
page.text = str(parsed)
# 保存編輯
# minor: 是否是小編輯
# botflag: 機器人flag,如果沒有機器人或機器用戶權限,則沒有任何影響。
# tags: 加入編輯標籤,用管道符|分割多個標籤。Automation tool指的是“由半自動化腳本或半自動化工具執行的操作”。test指的是測試。
# watch: 是否添加至監視列表,"nochange"指的是不改變監視列表
# 可自行在萌百的[http://zh.moegirl.tw/api.php api頁面]中瞭解對應的意義
page.save(summary="測試", minor=True, botflag=True, watch="nochange", tags="Automation tool|test")
else:
print("沒有對頁面作出任何修改。")
能夠轉換一個條目後,接下來只需要獲取所有分類為「使用VOCALOID的歌曲」的條目,然後轉換每個條目。貼心的官方已經寫好了代碼,只要會調用即可。
需要注意的是,代碼示例中展示瞭如何避免常見錯誤,例如參數不存在。但是也跳過了很多可能遇到的坑,比如模板名的對比是會被首字母是否大寫影響的,因此很可能出現「lj」不等於「Lj」的狀況。
如果您還在使用類似記事本的編輯器,很快就會發現諸如縮進、括號配對、拼寫錯誤等問題難以發現。因為記事本的功能過於貧乏,所以建議您選用更強大的工具編寫代碼:
根據現行方針,使用自動化工具編輯時需要注意編輯頻率,避免刷屏最近更改。
雖然Pywikibot功能豐富,但有時會遇到以下情景
此時可以使用MediaWiki自帶的api操作。幫助頁面給出了可用的api列表。雖然直接使用MediaWiki api花費的時間更多且更容易出錯,但是用戶可以最大程度地控制程序的行為。
以獲取用戶的所有貢獻,並分析不同命名空間的編輯次數為例。
首先前往幫助頁面查找需要的功能。用戶貢獻在query操作的usercontribs列表中。
幫助頁面給出的例子是「[1]」,該頁面列舉了User:Example的最近10條貢獻。但是,為了統計用戶所有編輯的命名空間,有以下幾個問題需要解決。
ucuser
參數的值改為目標用戶的用戶名即可。continue
參數中的uccontinue
,向伺服器發送第二個請求,要求伺服器從上一次中斷的地方繼續列舉用戶的貢獻。具體用法見下文的代碼。uclimit
參數改為500(非機器使用者的上限),一次獲取500個貢獻。title
的描述是「添加頁面標題及其命名空間ID」,因此只需要title
即可。format=json
讓api返回純json數據。綜上所述,請求的連結應為「[2]」。將連結中的Example替換為目標用戶名就可以獲取用戶的貢獻。
第一次嘗試如下:
import requests
import json
import urllib
# 向萌百的服務器發送請求,這裡以U:Lihaohong為例。為了保證可讀性,代碼被分成了好幾行。
result = requests.get("http://zh.moegirl.tw/api.php?"
"action=query&list=usercontribs&"
# 注意:在url中輸入非拉丁字母和非數字的字符需要用urllib.parse.quote額外處理
"ucuser=" + urllib.parse.quote("Lihaohong") + "&"
"uclimit=500&"
"ucprop=title&"
"format=json")
# 將返回的結果轉化為json數據
data = json.loads(result.text)
# 輸出結果
print(data)
輸出的json數據如下
{
'batchcomplete': '',
'continue': {
# 這裡的數值可以用來發送下一次請求獲取“下一頁”貢獻。
'uccontinue': '20220415095523|5841956',
'continue': '-||'
},
'query': {
'usercontribs': [
{
'userid': 741745,
'user': 'Lihaohong',
'ns': 12,
'title': 'Help:沙盒'
},
{
'userid': 741745,
'user': 'Lihaohong',
'ns': 0,
'title': '夜顏的告白'
},
{
'userid': 741745,
'user': 'Lihaohong',
'ns': 0,
'title': '最強Tettoteto計劃'
},
{
'userid': 741745,
'user': 'Lihaohong',
'ns': 0,
'title': '追悔'
}
# 後面還有很多...但是總共只有500條。
]
}
}
顯然,query
中的usercontribs
數組存儲了用戶的編輯,其中的ns
包含每次編輯的命名空間信息。
在統計命名空間之前,需要先使用uccontinue
參數獲取用戶的全部貢獻,而不僅僅是前500個。
import requests
import json
# 用列表(數組)存儲所有貢獻
contributions = []
# 一開始,不需要uccontinue參數
cont = ""
while True:
# 將uccontinue參數加入請求。注意:一開始cont為空字符串。
result = requests.get("http://zh.moegirl.tw/api.php?"
"action=query&list=usercontribs&"
"ucuser=Lihaohong&"
"uclimit=500&"
"ucprop=title&"
"format=json" +
cont)
# 將返回的結果轉化為json數據
data = json.loads(result.text)
# 提取貢獻,並把貢獻存入contributions
contributions.extend(data['query']['usercontribs'])
# 如果api返回的數據中包含continue,表明還有更多貢獻未獲取
if 'continue' in data:
# 將uccontinue參數放入cont變量,用於下一次循環的get請求
cont = "&uccontinue=" + data['continue']['uccontinue']
else: # 如果不包含continue,說明所有貢獻已被讀取完畢,可以退出循環
break
# 輸出所有貢獻
print(contributions)
# 確保貢獻數正確
print(len(contributions))
運行後發現,貢獻數與用戶的真實貢獻數相同[注 7]。
接下來,只要統計每個命名空間出現多少次即可。Python的Counter類可以快速統計數組中的每個數字出現了多少次。除此之外,還可以使用字典將數字轉換為文字。
from collections import Counter
namespace_dict = {
0: "主", 1: "討論",
2: "用戶", 3: "用戶討論",
4: "萌娘百科", 5: "萌百討論",
6: "文件", 7: "文件討論",
8: "MW", 9: "MW討論",
10: "模板", 11: "模板討論",
12: "幫助", 13: "幫助討論",
14: "分類", 15: "分類討論",
274: "小部件", 275: "小部件討論",
828: "模塊", 829: "模塊討論"
}
# 這裡省略了之前獲取contributions列表的代碼
# 獲取每次編輯的名字空間,並將其轉換為文字(如果namespace_dict沒有對應的文字,則保留數字)。最後用Counter統計每個名字空間出現了多少次。
counter = Counter([namespace_dict.get(c['ns'], c['ns'])
for c in contributions])
# 按照編輯次數給所有名字空間排序
t = sorted(list(counter.items()), key=lambda p: p[1], reverse=True)
print(t)
用戶Lihaohong的輸出為
[('主', 1253), ('用戶', 279), ('幫助', 19), ('用戶討論', 16), ('萌娘百科討論', 12), ('討論', 10), ('模板', 9), ('模板討論', 2), ('萌娘百科', 1)]
最後,熟悉Python繪製圖表工具,例如matplotlib的用戶,可以繪製貢獻的餅狀圖和柱狀圖。
import matplotlib
import matplotlib.pyplot as plt
# 部分操作系統中,matplotlib的默認字體不支持中文,因此需要手動指定字體。
matplotlib.rcParams['font.family'] = "Heiti TC"
matplotlib.rcParams['axes.unicode_minus'] = False
# 把名字空間和編輯次數放入兩個不同的列表。
namespaces, edits = zip(*t)
# 第一張圖:餅狀圖
plt.figure(1, [10, 6])
patches, texts = plt.pie(edits, labels=namespaces)
plt.legend(patches, [f"{p[0]}: {p[1]}" for p in t],
loc='center right', bbox_to_anchor=(0, 0.5), fontsize=15)
plt.savefig("pie.png")
plt.show()
# 第二張圖:柱狀圖
plt.figure(2, [len(namespaces), 6])
bar_plot = plt.bar(namespaces, edits, color=[p.get_facecolor() for p in patches])
plt.bar_label(bar_plot)
plt.savefig("bar.png")
plt.show()
對於大多數用戶,本工具已經夠用了。但是查詢編輯量極大的用戶的所有編輯需要大量(超過100個)請求,極有可能被WAF。解決方法如下:
sleep
函數,每發送一個請求就休眠數秒,減少被WAF的可能性。mzh
域名。雖然很少被WAF,但是會被502。以下是使用mzh域名的例子:
# 僅展示如何獲取單頁數據
# 循環,直到成功獲取數據
while True:
try:
result = requests.get("http://mzh.moegirl.tw/api.php?"
"action=query&list=usercontribs&"
"ucuser=" + urllib.parse.quote("Lihaohong") + "&"
"uclimit=500&"
"ucprop=title&"
"format=json" +
cont)
# 將返回的結果轉化為json數據
data = json.loads(result.text)
# 如果成功獲取數據,退出循環
break
except Exception as e: # 如有Exception,多半是502了
# 輸出錯誤信息,並重試
print(str(e), "retrying...")
查詢萌百某用戶的編輯記錄。在發送上百個請求後,得到以下結果。
[('主', 33674), ('萌百討論', 5931), ('模板', 5783), ('分類', 4007), ('用戶', 3877), ('MW', 2887), ('用戶討論', 2365), ('萌娘百科', 862), ('討論', 794), ('幫助', 450), ('模板討論', 404), ('模塊', 119), ('MW討論', 102), ('小部件', 72), ('分類討論', 17), ('幫助討論', 9), ('小部件討論', 7), ('模塊討論', 5)]
當你爆肝殿堂曲列表時,常常需要在萌百站內搜索殿堂列表中的曲目日文標題,以確保列表中的內鏈能正確地指向歌曲條目。
這時,你發現有億些歌曲在站內有條目,卻沒有建立原名重新導向,以致血壓升高。於是你打算整理出站內所有日文VOCALOID曲目的重新導向信息,以備篩查。
查詢query操作文檔後,發現可以通過list=search
和搜索代碼獲取位於Cat:使用VOCALOID的歌曲和Cat:日本音樂作品分類中的條目、通過prop=redirects
獲取至某條目的重新導向頁面列表。
代碼(僅作示例 |
---|
import requests
import json
song_type = "VOCALOID"
def get_pages(offset: int):
# search通過偏移值來獲取更多數據,因此這裡不再使用API返回的continue數據
return json.loads(requests.get("http://zh.moegirl.tw/api.php", params={
"action": "query",
"list": "search",
"srsearch": f"incategory:使用{song_type}的歌曲 incategory:日本音樂作品",
"srlimit": 500,
"sroffset": offset,
"continue": "-||",
"format": "json"}).text)['query']
# titles參數長度限制為50,需切塊處理
def get_redirects(pages: list[str]) -> requests.Response:
return (json.loads(requests.get("http://zh.moegirl.tw/api.php", params={
"action": "query",
"prop": "redirects",
"titles": '|'.join(pages),
"rdlimit": 500,
"format": "json"}).text))['query']
def get_all_redirects(pages: list[str]) -> requests.Response:
result = {'pages': {}}
for i in range(0, len(pages), 50):
result['pages'].update(get_redirects(pages[i:i+50])['pages'])
return result
data = get_pages(0)
total_count = data['searchinfo']['totalhits']
pages = {x['pageid']: x for x in data['search']}
datar = get_all_redirects([x['title'] for x in data['search']])['pages']
for k, v in datar.items():
if 'redirects' in v:
pages[int(k)]['redirects'] = v['redirects']
for i in range(500, total_count, 500):
data = get_pages(i)['search']
pages.update({x['pageid']: x for x in data['search']})
# 同上,不寫了
with open("output.json", 'w', encoding='UTF-8') as f:
json.dump(pages, f, indent=4, ensure_ascii=False)
|
然而,如果直接這樣操作,不僅代碼繁瑣,還意味著每次查詢都需要向伺服器多發送10次prop=redirects
請求,大大增加了耗費時間、伺服器負擔和WAF風險。
於是,我們可以使用生成器,在一次查詢中同時獲取頁面列表和重新導向信息。
除有特殊聲明外,query操作的絕大多數子模塊都能被用作生成器。因此,絕大多數情況下,只需將list/prop=...
參數改為generator=...
,其他相關參數前加上g
,就能將一個普通查詢操作轉換成一個generator查詢操作。
對於一個generator查詢操作,可附加一個參數prop=A|B|C|...
。這時,伺服器返回的數據中,每個通過generator查詢到的頁面後都會附上指定的屬性信息,從而避免了多次發送查詢請求。
import requests
import json
song_type = "VOCALOID"
def get_pages_with_redirects(offset: int):
# search通過偏移值來獲取更多數據,因此這裡不再使用API返回的continue數據
# generator的limit值和各個prop的limit值是分別計算的
# 由於查詢中重定向總數可能多於頁面總數,為避免一次請求無法返回所有重定向信息,將srlimit縮減為400
return json.loads(requests.get("http://zh.moegirl.tw/api.php", params={
"action": "query",
"generator": "search",
"gsrsearch": f"incategory:使用{song_type}的歌曲 incategory:日本音樂作品",
"gsrlimit": 400,
"gsroffset": offset,
"continue": "gsroffset||",
"prop": "redirects",
"rdlimit": 500,
"format": "json"}).text)
pages = {}
i = 0
while True:
data = get_pages_with_redirects(i)
pages.update(data['query']['pages'])
i += 400
if not 'continue' in data: break
with open("output.json", 'w', encoding='UTF-8') as f:
json.dump(pages, f, indent=4, ensure_ascii=False)
{
"103030": {
"pageid": 103030,
"ns": 0,
"title": "1 2 fan club",
"index": 215,
"redirects": [
{
"pageid": 119944,
"ns": 0,
"title": "12 Fan Club"
},
{
"pageid": 262220,
"ns": 0,
"title": "いーあるふぁんくらぶ"
},
{
"pageid": 262222,
"ns": 0,
"title": "一二粉絲俱樂部"
}
]
},
"468148": {
"pageid": 468148,
"ns": 0,
"title": "3分鐘女孩",
"index": 234,
"redirects": [
{
"pageid": 468195,
"ns": 0,
"title": "3分ガール"
},
{
"pageid": 468196,
"ns": 0,
"title": "三分鐘女孩"
}
]
},
"303078": {
"pageid": 303078,
"ns": 0,
"title": "8.32",
"index": 102
},
...
}
config.py
的family_files處,把https://zh.moegirl...
改為https://mzh.moegirl...
|