algonote

There's More Than One Way To Do It

音楽制作を助けるソフトウェア・ハードウェアツール一覧(2021)

DTM ハードウェア 音声処理 機械学習

3年で得られた知見を追加

f:id:hiromichinomata:20210920204354j:plain:w200

前口上

以前音楽制作を助けるAIツール一覧についてまとめてはや3年。

そこから技術の変化で新しいツールが出たり、バージョンが上がってできることが増えたり、試しに触ってみたりで知見を得たので整理のためにまとめていきます。

ノイズ除去、音声編集、音源分離

元Hit’n’Mix Infinityだがモデルの入れ替えに近くロジックは別ソフト。インストは捨ててバンドサウンドに特化

使用ライブラリーを見る限り内部的に一度声だけ分離した後にインストを分離している気がする。名称変更に伴い分類クラスも変わった。

  • Spleeter

オープンソース音源分離

打ち込み、入力補助

Melodyneとの連携を毎年強めているDAW。ver. 4でコードの変更に伴いMIDIだけでなく音声のコードを自動変更する機能が搭載された。

ボタン式アコーディオン、クロマトーン、バンドネオンの自作MIDIキーボード。打鍵の強さで音量は変えられない。右側だけのgiabaLEnaiなど亜種がある。

ボタン式アコーディオンはキーを変えても手の形が一緒でキーボードとギターの中間の仕組み。

ja.algonote.com

弦のようなビブラートもできるキーボード。鍵盤でチョーキングできるのは魅力的だが肝心の鍵盤の打鍵感がキーボードと比べて少ない気がする。

運営のRoliは破産の危機から別ブランドの初心者用ピアノで再起中。

f:id:hiromichinomata:20210920213506j:plain:w300

  • AKAI EWI USB

笛型デバイス、ストリングスにも使える

  • Roland Aerophone

EWIの競合

EQ、マスタリング、ミックス

作曲や編曲自体はやらず、最終工程のみをやるタイプ。

自動マスタリングサービス。Webの画面に音声ファイルをドロップする形式。基本お任せなので細かい調整はできない。

日本版LANDRといった趣だがメインは動画向け。他よりダイナミックレンジを維持したまま大きい音でマスタリングできると主張している。

2021/03にアルゴリズム部分がオープンソース化された github.com

自動ミックスツール。DAW上で音源の出力にさして使う。音声を再生して適切なEQカーブや音量に自動調整してくれる。

マスタリングプラグイン。音に合わせて調節するアダプティブ機能がある。

ほぼ自動曲生成

重要なパラメーターを選のみ選んであとはお任せ。

ジャンル、曲調を選択して生成

GoogleのMangentaから出たプラグイン集。Generateだと4小節のフレーズを生成。

2021/07に本が出た。

ジャンルやテンポから自動作曲。

メロディーからの自動バッキングや歌声合成機能もある

www.youtube.com

  • WolframTones
    ジャンルを選んで曲を生成。

  • Music Maker
    曲の雰囲気、楽器、長さを使って自動生成

  • Amadeus Code

半手動曲生成

あれ程度の人力入力が必要なもの。

2006年からある自動作曲ソフト。歌詞から曲を自動作曲してくれる。

2小節のメロディーから１曲分に拡張. iOSアプリ

2019/11に試した限りではマイク入力のメロディ採譜が全くあわなかった。

作曲家のための自動作曲ソフト。やろうと思えばコード進行や楽器まで細かく指定できるので他より粒度が細かい。

Orb Composer v1.5でメロディーにMIDIをimportできるようになったのと単独で音を鳴らすことができずDAWとの連携必須だったのが単独演奏可能になった。

MIDI importはモチーフとしてのimportで元midiから勝手にふくらませてしまうのでハンドリングが難しい。Chordana Composerに挙動が近い

www.youtube.com

  • Flow Machines

Sony CSLが開発。制限のあるモバイル版のみが公開されている。

歌声合成

YAMAHA製歌声合成エンジン。クリプトンの初音ミクとか有名ですね。

フリーで動く和製歌声合成ソフト。重音テトとか。

英語、日本語、韓国語、中国語対応の歌声音声ソフト。ニューラルネットワークとそうでない手法のハイブリッドで特許出願中とのこと。

以前はデモだけだったが2020年7月に発売開始。Web版もあるが保存ができない

個人開発の歌声合成ソフト。東北きりたんの声のAIきりたんが有名。今は声質が増えている。

2020/07に試した限りでは５度以上の音程で音痴気味だったが今は改善されているかもしれない。

  • DeepVocal
    中国製歌声合成ソフト。SharpKeyの後継

  • XStudio

中国語の音声合成ソフト。Microsoftの技術を使用。エクスポートするのに中国の電話番号が必要。

漢字そのまま入力可能。しゃくりやビブラートは鉛筆で書く。

スクリプト

プログラムで音色を制御できるもの

  • Logic Pro Scripter MIDI plug-in

  • KSP

KONTAKT PLAYERで使えるスクリプト言語

  • Blue Cat's Plug'n Script

  • Scripts for Synthesizer V Studio Pro

Lua, JavaScript

楽曲検索

  • Shazam

2018年にAppleが買収。どちらかというと原曲のままが得意

  • SoundHound

どちらかと言うと鼻歌検索が得意

ギター系

  • Line 6 Variax Standard

エレキギターはざっくりフェンダー系とレスポール系に分かれて音色が違う。フェンダー系でもSSHのギター、レスポールでもProBucker仕様のものを使うことでコイルタップでどちらのサウンドも鳴らすことができるが完璧ではない

Variaxは電子的に制御することで音色を切り替えることができ、1台で色々なギターの音色を再現できる

ギター風コード打ち込み補助ツール

YAMAHAがずっと前に発売していた光るギター(現在は生産停止). InstaChordよりフレットは多い。

右手でジャカジャカしなくても左手置いただけでmidiが入るので使い方を選ぶかもしれない。ギターのボイシングをキーボードに変換しなくても良いのは丸。バレーコードは弦より抑えるのが難しい気がする。

f:id:hiromichinomata:20210920204354j:plain:w300

ドラム

  • Logic Drummer
    AppleのDAW, Logic Proの機能。ドラマー、使う楽器、ジャンルを選んでドラムを生成。

  • iMaschine2

ドラムは家に置くには大きいですし、騒音問題も他の楽器よりシビアですね。指ドラムならその問題も大方解消

『DTMerのためのフィンガードラム入門』がよくまとまっていました。

  • ドラムパッド

よりドラム感が欲しい場合はドラムパッドの方がリアルに近づく

ボイスチェンジャー

男性が女性の声を出したり、女性が男声を出すツール。完璧ではない

  • Voidol

  • ROLAND VT-4 ボイストランスフォーマー

  • TC Helicon C1他

耳コピ

  • Yamaha クラビノーバ Smart Pianist

ピアノ限定

ポリフォニック音高推定。DAWに通常ついている音高推定機能だと単音のみしか対応していない。Melodyneを使うと複数音の音高を推定でき、かつ音高を変更することができる。この機能は自分が知る限りMelodyneのみが提供しており、市場を独占している。

  • DECODA

音声ファイルからコード推定。

v1.1からChordProというPerlのライブラリーの形式に出力できるようになった

KAWAIのソフトウェア。音声のコードを検出。コード分割度合など細かく設定できるのが良い

タブ譜も表示され 自動スクロールで譜面代わりにもなる。

midiメロディーからコード生成可能だがnanoKEY2と相性悪かった。音声からも仕様上は可能だが音声 to midiの精度がLogic Flex Pitchより低い模様。

その他

機械学習を使ったサンプルブラウザ

メロディがコードのルートに対してどのくらいの度数離れているかを表示

  • YAMAHA アビテックス

防音室

サービス終了したもの

  • Music Memo
    Appleが出していたiOSの録音アプリ。メロディーを歌うとコードを推定してくれてよく使っていたが終わってしまった

所感

ドラマシリコンバレーで主人公がVCに音楽関係のサービスをピッチしたところ私は使わないと一蹴されています。しばしば忘れがちですが音楽を制作する人は世界で見れば一握りで、少ない人に対するビジネスをより総数の多いビジネスと同列で扱うと失敗しやすいのはそうでしょう。

一方で、初音ミクが失敗だったかと聞かれてそうだという人はいないですね。creative.aiだけでビジネスをするのはそれなりにハードではありますが、キャラクタービジネスに紐づければ大きく成功した例もあるわけです。

日本は楽器メーカーが多く楽器演奏者、音楽制作人口が世界平均より多い印象があります。日本初で世界的に使われるサービスは少ないですが、ゲーム系はうまくやっている部分はありますし音声関係は地の利がある気がしています。

K-POPは比較的自国外でうまく立ち回れている感じがしますがJ-POPはまだ弱い気がしますね。例えば仮に日本初のAIのツールが普及することで世界のミュージックチャートの上位を日本勢が占めるとかそういう世界があっても面白いと思う今日この頃です。