此頁面中存在需要長期更新的內容及資料列表，現存條目中資料未必是最新。
另請編輯者注意：請不要在人物歷程等相關內容中懸掛此模板。具體使用方法詳見模板說明文檔。
另請編輯者注意：請不要在人物歷程等相關內容中懸掛此模板。具體使用方法詳見模板說明文檔。
NEUTRINO
軟體名
NEUTRINO
開發者
SHACHI
作業系統
軟體類型
唱歌合成，語音合成
初始版本
v0.101（2020年2月22日）
目前版本
v2.6.1（2024年10月11日）
NEUTRINO是由SHACHI開發的免費歌聲合成器。它基於音頻合成深度學習模型（例如WaveNet，WaveRNN）與Morise開發的NSF來完成合成唱歌任務。
2023年，NEUTRINO v1.0.0發布，項目更名為NEUTRINO Electron。
2024年，NEUTRINO v2.0.0發布，項目更名為NEUTRINO Diffusion Muon。
據官方推特，此軟體的名稱（軟體直譯：中微子）來源於一個「希望能開拓未曾聽說過的樂曲與流派」的想法。
發展歷程
2019年 | ||
|---|---|---|
| 12月3日 | SHACHI在他的推特中上傳了他用自己開發的引擎所合成的音聲的片段。 | |
2020年 | ||
| 1月27日 | SHACHI表示已將合成引擎轉換成C++，並預告將會把引擎從Linux（Ubuntu）移植到Windows上。 | |
v0.1x~0.3x
v0.1x~0.3x是項目的α測試階段，按順序實現了基本功能。
2020年 | ||
|---|---|---|
| 2月22日 | 名為SHACHI的nico用戶發布演示demo與NEUTRINO正式版本v0.101，內含東北切蒲英與謠子音源模型。 | |
| 2月29日 | 更新v0.102，公開Linux版引擎。 | |
| 3月7日 | 更新v0.103，並公開macOS版引擎。 | |
| 3月20日 | 發布v0.200α，添加隨機生成(-r)，解決了氣噪聲和時序估計錯誤的問題。v0.2x開始，加入了新的合成模型-NSF（之前只有WORLD引擎【僅僅是一個音素提取模型】），在使用NSF合成時還需要支持CUDA的NVIDIA顯卡（macOS版本因環境上不支持NVIDIA顯卡而無法使用NSF）。為切蒲英訓練了NSF的新聲庫。 | |
| 3月22日 | 發布了在線版(online)，Google Drive與Colab互聯後就能直接進行合成並輸出。NSF添加到了在線版中。Linux版也集成到了在線版中。 | |
| 4月10日 | 更新v0.200β，為謠子訓練了NSF的新聲庫。NSF添加到了Windows版中，並將NSF的輸入輸出與其他模塊統一。 | |
| 4月17日 | 更新v0.200正式版，修復了NSF相關的問題，並添加了運行NSF相關的Visual Studio運行庫。 | |
| 4月20日 | 更新MacOS版本，但NSF的移植被擱置。 | |
| 5月29日 | 發布v0.300[1]，加入了新的音源模型-JSUT。v0.3x起，提高了引擎的渲染速度和模型的加載速度，GPU優化加速快了4倍，（macOS版本的GPU支持和NSF移植被暫停） | |
| 6月22日 | 更新v0.310，重新在東北切蒲英與謠子和JSUT的音源數據集上訓練NSF。改善了模型加載，並不再支持以前的模型。 | |
| 7月7日 | 東北伊達子音源資料庫製作[2]，僅僅兩天就完成眾籌目標。 | |
| 7月10日 | 發布v0.320，加快了GPU上運行的速度，並添加了樣式轉換選項（-k）。 | |
v0.4x~0.5x
β測試階段的v0.4x增加了聲庫數量，而v0.5x提升了質量和功能。
2020年 | ||
|---|---|---|
| 9月18日 | 發布v0.400[3]，增加東北伊達子音源，既有音源品質改善，NSF提升採樣率（24khz->32khz）。從這一版本開始系統默認壓縮包只包括切蒲英的音源，其他音源需要另行下載。 | |
| 11月11日 | 發布v0.411，再次提升採樣率（32khz->48khz），優化高頻噪音，提高質量優化時序。 | |
| 12月09日 | 更新v0.412。 | |
| 12月24日 | 發布v0.420，增加音源（Merrow）[4]。 | |
2021年 | ||
| 1月29日 | 更新v0.422版本，重新兼容macOS（Apple Silicon）。 | |
| 3月29日 | 發布v0.430，呼吸聲優化。 | |
| 4月21日 | 小巖井小鳥錄製了50首歌曲，交付給大學開放研究[5]，將在NEUTRINO作為SEVEN出道。 | |
| 4月23日 | 發布v0.431，增加音源（NAKUMO）[6] | |
| 6月21日 | 面向贊助者的東北俊子音源公開。7月5日，東北俊子音源完全公開。7月7日，SEVEN音源完全公開[7] | |
| 10月1日 | 發布v0.500β，更新了所有的聲庫，並不再兼容0.431之前版本的聲庫。本版本開始，默認聲庫由切蒲英更改為Merrow。 | |
| 11月15日 | 發布v0.510，可以微調WORLD（β版本）的平滑選項，支持日英雙語顯示錯誤信息，並將未定義或不包含歌詞的音符改為生成靜音片段。 | |
2022年 | ||
| 2月10日 | 發布v0.540，更新NSF版本，現可在CPU/GPU上合成NSF，並在Windows、MacOS和在線版本上使用。 | |
| 3月25日 | 發布v0.551，提高了引擎的估計精度，修復了NSF在MacOS上的錯誤。 | |
Neutrino Electron（v1.x）
2022年 | ||
|---|---|---|
| 4月22日 | v1.0.0發布。項目更名為Neutrino Electron。規格和操作已經穩定，因此作為正式版發布。同時註冊了Niconico Commons和PIXIV FANBOX。 | |
| 6月8日 | v1.1.0發布，提高了NSF合成質量，改進了NSF框架。不再兼容之前的語音庫。 | |
| 8月1日 | v1.2.0發布。 | |
| 10月14日 | 更新v1.2.1。 | |
| 11月15日 | v1.3.0發布，提高了NSF在GPU上的運行速度，並支持多GPU。 | |
Neutrino Diffusion Muon（v2.x）
2023年 | ||
|---|---|---|
| 4月28日 | v2.0.0發布。項目更名為Neutrino Diffusion Muon。 | |
| 6月16日 | v2.1.0發布。提高f0和WORLD的精度，更新onnx runtime框架的版本。 | |
| 7月14日 | v2.2.0發布。更改了NSF和WORLD的輸出音量。 | |
| 10月27日 | v2.3.0發布。更新Merrow，GPU版本的一些操作從CPU改為GPU。 | |
| 10月30日 | 更新v2.3.1，12月16日更新v2.3.2。 | |
2024年 | ||
| 1月12日 | v2.4.0發布。 | |
| 3月13日 | v2.5.0發布，更新了CUDA版本，默認聲庫增加了Nakumo。 | |
| 5月10日 | 更新v2.5.1。 | |
| 9月20日 | v2.6.0發布。 | |
| 10月11日 | 更新v2.6.1。 | |
使用方法
運行要求
使用 GPU 進行合成需要 NVIDIA 製造的 CUDA 兼容 GPU。由於是深度學習應用，推薦使用搭載RTX顯卡的計算機配置，或直接使用google colab版本。
Google Colab
Google Colaboratory（以下簡稱 Colab）是一項網絡服務，可讓您在瀏覽器上運行 Google 的雲 PC。
首次運行時可能會很慢，但之後再運行就會變得很快。
- 下載並解壓縮 NEUTRINO（在線版）
- 轉到 Google Drive
- 在 My Drive 中創建一個「Colab Notebooks」文件夾，並複製您剛剛解壓縮的 NEUTRINO。
- 轉到 NEUTRINO 文件夾，右鍵單擊它，選擇「更多」→「添加應用程式」。
- 搜索 「Colaboratory」 並添加它。
- 右鍵單擊 NEUTRINO 文件夾中的「NEUTRINO.ipynb」→在「Google Colaboratory」中打開筆記本→「在應用程式中打開」。
- 在屏幕頂部的菜單中打開 notebook 設置→ 「Runtime」 「Change runtime type」。 確保選擇 GPU 進行硬體加速。
- 按單元格左側顯示的 [] 或 play 按鈕以執行它。如果您看到用於對用戶進行身份驗證的連結，請單擊該連結進行身份驗證。 將顯示驗證碼，因此請將其複製並粘貼到其中。
- 之後，如果按順序執行，音頻將在 NEUTRINO/output 下方輸出。
- 如果您想使用自己的 MusicXML，請將其上傳到 score/musicxml 文件夾，更改 BASENAME，然後再次執行數字 4。
- 如果要使用在本地 PC 上創建的聲學特徵文件 （mel-spec， f0） 或標籤文件，請按原樣上傳樂譜文件夾和輸出文件夾，更改 BASENAME，然後再次執行編號 5 的 NSF。*請注意，如果您移動數字 4，它將被覆蓋！
Linux
在線版本也可以在本地 PC 上的 Ubuntu 上運行。
- 安裝 Ubuntu （20.04 LTS）
- 安裝 gcc
- 安裝最新的 nvidia-driver
- 安裝 CUDA 工具包CUDA 工具包 12.3 或更高版本（適用於 NEUTRINO Diffusion v2.5 或更高版本CUDA 工具包 11.8）CUDA 工具包（適用於 NEUTRINO Diffusion v2.4 或更早版本）
- 為您的 CUDA 工具包版本安裝 cuDNN
- 下載並解壓 NEUTRINO （在線版）
- 使用 chmod 命令更改權限，等等。
- 導航到 NEUTRINO 文件夾並運行 Run.sh
- 如果 sample1.wav/sample1_world.wav 在 output 下輸出，則表示工作正常。
Windows
截至2020年7月10日，NEUTRINO尚沒有官方圖形界面（GUI），所以無法調整發聲參數。
（多人正在開發分支，詳情見官方推特相關）
首先需要用制譜軟體（如自由軟體MuseScore）來創建一個樂譜文件並加上歌詞。注意，呼吸符號（∨）有著重要的意義，把呼吸符號和促音「っ」疊放的話，會更容易發出穩定的聲音。還有，四分以下的休止符要儘可能少一些。歌詞用全形平假名、片假名輸入，一個音符最好只輸入一個元音。
然後導出MusicXML文件，將其拖入NEUTRINO\score\musicxml文件夾中之後，返回NEUTRINO根目錄，用記事本打開Run.bat，將set BASENAME=之後的文字改成導出的MusicXML的文件名，將set ModelDir=後改成欲使用的歌手，之後保存退出，再直接運行Run.bat，耐心等候，當命令行窗口自動關閉後，便可在Output文件夾中找到合成出的WAV文件。
最後再將導出的文件用根據所需在第三方軟體（如WaveSurfer、Melodyne）中進行修音以及其他調整。
| ||||||||||||||
相關連結
- ↑ SNACHI. Version.0.3系アップデート. NEUTRINO. 2020-07-07 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）.
- ↑ 東北ずん子. 東北イタコは歌いたい！しゃべりたい！東北イタコ音聲合成データベース製作プロジェクト. greenfunding.jp. 2020-07-07 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）.
- ↑ SNACHI. Version.0.4系アップデート. NEUTRINO. 2020-07-04 [引用時間: 2020-07-07]. （原始內容存檔於2020-07-07）.
- ↑ SNACHI. イラスト·設定資料. NEUTRINO. 2021-07-04 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）.
- ↑ 藤本健. 小巖井ことりさん作詞·作曲·歌唱のDB公開で、AI歌聲合成の民主化へ躍進。NEUTRINOの新キャラクタ『No.7』がリリースへ. DTMステーション. 2021-04-21 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）.
- ↑ SNACHI. Version.0.4系アップデート. NEUTRINO. 2021-07-04 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）.
歌聲ライブラリ（ナクモ）を追加しました。
- ↑ 藤本健. 小巖井ことりさんの歌聲を人工知能で完全に實現!? 本人も自分そのものと認めるソフト完成への裡舞台. DTMステーション. 2021-07-07 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）.
- ↑ SNACHI. オンライン版の使い方. NEUTRINO. 2021-03-28 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）.
- ↑ 木三聿. 如何使用NEUTRINO軟件v0.2？. 知乎. 2020-04-29 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）.