3年で得られた知見を追加
前口上
以前音楽制作を助けるAIツール一覧についてまとめてはや3年。
そこから技術の変化で新しいツールが出たり、バージョンが上がってできることが増えたり、試しに触ってみたりで知見を得たので整理のためにまとめていきます。
ノイズ除去、音声編集、音源分離
Spectral Layers
DeepAudio
元Hit’n’Mix Infinityだがモデルの入れ替えに近くロジックは別ソフト。インストは捨ててバンドサウンドに特化
使用ライブラリーを見る限り内部的に一度声だけ分離した後にインストを分離している気がする。名称変更に伴い分類クラスも変わった。
- Spleeter
オープンソース音源分離
打ち込み、入力補助
- Studio Oneのコードトラック
Melodyneとの連携を毎年強めているDAW。ver. 4でコードの変更に伴いMIDIだけでなく音声のコードを自動変更する機能が搭載された。
- giabalanai, bandoMIneDonI, chromatonemini
ボタン式アコーディオン、クロマトーン、バンドネオンの自作MIDIキーボード。打鍵の強さで音量は変えられない。右側だけのgiabaLEnaiなど亜種がある。
ボタン式アコーディオンはキーを変えても手の形が一緒でキーボードとギターの中間の仕組み。
弦のようなビブラートもできるキーボード。鍵盤でチョーキングできるのは魅力的だが肝心の鍵盤の打鍵感がキーボードと比べて少ない気がする。
運営のRoliは破産の危機から別ブランドの初心者用ピアノで再起中。
- AKAI EWI USB
笛型デバイス、ストリングスにも使える
- Roland Aerophone
EWIの競合
EQ、マスタリング、ミックス
作曲や編曲自体はやらず、最終工程のみをやるタイプ。
自動マスタリングサービス。Webの画面に音声ファイルをドロップする形式。基本お任せなので細かい調整はできない。
日本版LANDRといった趣だがメインは動画向け。他よりダイナミックレンジを維持したまま大きい音でマスタリングできると主張している。
2021/03にアルゴリズム部分がオープンソース化された github.com
自動ミックスツール。DAW上で音源の出力にさして使う。音声を再生して適切なEQカーブや音量に自動調整してくれる。
マスタリングプラグイン。音に合わせて調節するアダプティブ機能がある。
ほぼ自動曲生成
重要なパラメーターを選のみ選んであとはお任せ。
ジャンル、曲調を選択して生成
GoogleのMangentaから出たプラグイン集。Generateだと4小節のフレーズを生成。
2021/07に本が出た。
ジャンルやテンポから自動作曲。
メロディーからの自動バッキングや歌声合成機能もある
WolframTones
ジャンルを選んで曲を生成。Music Maker
曲の雰囲気、楽器、長さを使って自動生成Amadeus Code
半手動曲生成
あれ程度の人力入力が必要なもの。
2006年からある自動作曲ソフト。歌詞から曲を自動作曲してくれる。
2小節のメロディーから1曲分に拡張. iOSアプリ
2019/11に試した限りではマイク入力のメロディ採譜が全くあわなかった。
作曲家のための自動作曲ソフト。やろうと思えばコード進行や楽器まで細かく指定できるので他より粒度が細かい。
Orb Composer v1.5でメロディーにMIDIをimportできるようになったのと単独で音を鳴らすことができずDAWとの連携必須だったのが単独演奏可能になった。
MIDI importはモチーフとしてのimportで元midiから勝手にふくらませてしまうのでハンドリングが難しい。Chordana Composerに挙動が近い
- Flow Machines
Sony CSLが開発。制限のあるモバイル版のみが公開されている。
歌声合成
YAMAHA製歌声合成エンジン。クリプトンの初音ミクとか有名ですね。
フリーで動く和製歌声合成ソフト。重音テトとか。
英語、日本語、韓国語、中国語対応の歌声音声ソフト。ニューラルネットワークとそうでない手法のハイブリッドで特許出願中とのこと。
以前はデモだけだったが2020年7月に発売開始。Web版もあるが保存ができない
Web Synthesizer Vテスト
— H. NOMATA (@hiromichinomata) January 2, 2020
あけましておめでとう
なすびが踊ってる
無限の可能性に
富士山いっぱいhttps://t.co/E7WwB1OfPG#SynthesizerV pic.twitter.com/wtZpNMrMi4
個人開発の歌声合成ソフト。東北きりたんの声のAIきりたんが有名。今は声質が増えている。
2020/07に試した限りでは5度以上の音程で音痴気味だったが今は改善されているかもしれない。
てすてす. NEUTRINO以前にWinザコ勢でStudio Oneザコ勢でつらい
— H. NOMATA (@hiromichinomata) February 23, 2020
人はみな願う それは小さな祈り
まだ見ぬ世界は すぐそこにある#NEUTRINO #AIきりたん pic.twitter.com/GZOzqihIP3
DeepVocal
中国製歌声合成ソフト。SharpKeyの後継XStudio
中国語の音声合成ソフト。Microsoftの技術を使用。エクスポートするのに中国の電話番号が必要。
漢字そのまま入力可能。しゃくりやビブラートは鉛筆で書く。
520中国語版
— H. NOMATA (@hiromichinomata) August 22, 2020
音声生成がサーバー側かつ音符位置変えただけでも全生成なので待ち時間で少しイライラ。ものほんのAIでキリンとシーのお仕事奪っていきますかね(やめろ#直感アルゴリズム#XStudio pic.twitter.com/75J9B9gmtc
スクリプト
プログラムで音色を制御できるもの
Logic Pro Scripter MIDI plug-in
KSP
KONTAKT PLAYERで使えるスクリプト言語
Blue Cat's Plug'n Script
Scripts for Synthesizer V Studio Pro
Lua, JavaScript
楽曲検索
- Shazam
2018年にAppleが買収。どちらかというと原曲のままが得意
- SoundHound
どちらかと言うと鼻歌検索が得意
ギター系
- Line 6 Variax Standard
エレキギターはざっくりフェンダー系とレスポール系に分かれて音色が違う。フェンダー系でもSSHのギター、レスポールでもProBucker仕様のものを使うことでコイルタップでどちらのサウンドも鳴らすことができるが完璧ではない
Variaxは電子的に制御することで音色を切り替えることができ、1台で色々なギターの音色を再現できる
ギター風コード打ち込み補助ツール
YAMAHAがずっと前に発売していた光るギター(現在は生産停止). InstaChordよりフレットは多い。
右手でジャカジャカしなくても左手置いただけでmidiが入るので使い方を選ぶかもしれない。ギターのボイシングをキーボードに変換しなくても良いのは丸。バレーコードは弦より抑えるのが難しい気がする。
EZ-EGテスト pic.twitter.com/V8mID9i918
— H. NOMATA (@hiromichinomata) February 11, 2020
ドラム
Logic Drummer
AppleのDAW, Logic Proの機能。ドラマー、使う楽器、ジャンルを選んでドラムを生成。iMaschine2
ドラムは家に置くには大きいですし、騒音問題も他の楽器よりシビアですね。指ドラムならその問題も大方解消
指ドラム楽しい(がリズムをキープできない)#iMaschine2 pic.twitter.com/3gFc8tgHSS
— H. NOMATA (@hiromichinomata) April 10, 2021
『DTMerのためのフィンガードラム入門』がよくまとまっていました。
- ドラムパッド
よりドラム感が欲しい場合はドラムパッドの方がリアルに近づく
ボイスチェンジャー
男性が女性の声を出したり、女性が男声を出すツール。完璧ではない
Voidol
ROLAND VT-4 ボイストランスフォーマー
TC Helicon C1他
耳コピ
- Yamaha クラビノーバ Smart Pianist
ピアノ限定
ポリフォニック音高推定。DAWに通常ついている音高推定機能だと単音のみしか対応していない。Melodyneを使うと複数音の音高を推定でき、かつ音高を変更することができる。この機能は自分が知る限りMelodyneのみが提供しており、市場を独占している。
- DECODA
音声ファイルからコード推定。
v1.1からChordProというPerlのライブラリーの形式に出力できるようになった
KAWAIのソフトウェア。音声のコードを検出。コード分割度合など細かく設定できるのが良い
タブ譜も表示され 自動スクロールで譜面代わりにもなる。
midiメロディーからコード生成可能だがnanoKEY2と相性悪かった。音声からも仕様上は可能だが音声 to midiの精度がLogic Flex Pitchより低い模様。
その他
機械学習を使ったサンプルブラウザ
メロディがコードのルートに対してどのくらいの度数離れているかを表示
- YAMAHA アビテックス
防音室
サービス終了したもの
- Music Memo
Appleが出していたiOSの録音アプリ。メロディーを歌うとコードを推定してくれてよく使っていたが終わってしまった
所感
ドラマシリコンバレーで主人公がVCに音楽関係のサービスをピッチしたところ私は使わないと一蹴されています。しばしば忘れがちですが音楽を制作する人は世界で見れば一握りで、少ない人に対するビジネスをより総数の多いビジネスと同列で扱うと失敗しやすいのはそうでしょう。
一方で、初音ミクが失敗だったかと聞かれてそうだという人はいないですね。creative.aiだけでビジネスをするのはそれなりにハードではありますが、キャラクタービジネスに紐づければ大きく成功した例もあるわけです。
日本は楽器メーカーが多く楽器演奏者、音楽制作人口が世界平均より多い印象があります。日本初で世界的に使われるサービスは少ないですが、ゲーム系はうまくやっている部分はありますし音声関係は地の利がある気がしています。
K-POPは比較的自国外でうまく立ち回れている感じがしますがJ-POPはまだ弱い気がしますね。例えば仮に日本初のAIのツールが普及することで世界のミュージックチャートの上位を日本勢が占めるとかそういう世界があっても面白いと思う今日この頃です。