と。

Github: https://github.com/8-u8

AIミュージックバトル『弁財天』を現地で楽しんだ話

benz"AI"tenっていうセンスがいい

Tokyo.Rでお世話になっているy__mattuさんに紹介を受け、 Music Analytics Meetupが主催するミュージックバトル『弁財天』に
妻を連れて参加してきました。

muana.connpass.com

僕にとっても、音楽生成モデルについてはあんまりよく知らないドメインで、
妻にとっても機械学習・データサイエンス自体が全く無縁なので、
楽しんでもらえるか不安でしたが、そんなものは杞憂。最終的にすごく楽しめました。

内容

基本的にはDJバトルのようなスタイルで、2チームが先行後攻にわかれ、
課題曲(コード進行) をもとにして、それに合うメロディを
機械学習モデル等を用いてその場で生成し、その良さを競うというスタイルでした。

日本大学の北原先生が普通にMCがうまい。途中後ろ受け身をしたところはめちゃくちゃ面白かったです。

感想

よく考えればリアルイベントへの出席は、2020年以来本当に久しぶりでした。
その上自分のドメインが全くない領域のイベントで、どれくらい自分が楽しめるか、
そして妻が置いてけぼりにならないかと少し気をもんでいましたが、
中身はガチガチのDJバトルなので、純粋に音楽が好きであれば、
割と誰でも楽しめる内容でした。加えて生成モデルについても学べるという、
とてもバランスの取れたイベントだったなあと思います。
イベント後生成モデルについて妻に質問攻めでヒイヒイでしたが、
データサイエンスに無縁な人も興味を持てうるイベントというのは、
社会と学術を程よくつなぐという位置づけとしてもすごく意義のあるものだと思います。

そして仕組みを知りたがる身としても、解法の紹介がいただけたのはすごく面白かったです。
参戦者のみなさんが自分たちのアプローチを公開してくれるのが非常に良かったです。
私はこのあたりの専門ではないので、完全に箇条書きになるのですが、
概ね以下のようなアプローチだったと記憶しています。

  • 音楽から音楽を生成する
    • おそらくは王道的な解法アプローチ。music2music。
    • 北原先生や運営のMasudaさんがベンチマークを作成していたので、
      それをチューニングしたり、ドメイン知識を元にした後処理をしたり。
    • 自分でモデルを作成してきた猛者もいた。つよい。
  • 楽譜を画像と解釈して、楽譜からメロディを生成する(Dall-E)
    • そもそも楽譜を生成するという解法はなかった。
    • 生成モデルに関する知識がない妻もこの解法は面白がっていた
    • 帰宅後Harpejjiを聞いて二度面白がっていた。
  • ABC記法に置き換えてtext2textからMIDI生成する

北原先生がコード進行の解説をキーボードを使って行ってくださるおかげで、
「コード進行とは……うごご」状態の僕でも「なるほどどうやらここが捻られているらしい」くらいはわかりました。
解法も多様であったがゆえに生成されたメロディも多様で、ほとんどのバトルで破綻することなく生成されているのも、
すごいなあと思いました。1曲だけ、残念ながら破綻したメロディが流れましたが、
正直、時勢柄会場参加者をなかなか多くできない制約があるとは思いつつ、
もっと大規模に開催してもいいし、参加費払っても見に行きたいなと思いました。
バトルのスタイルも面白かったです。1回戦で敗退した方々のモデルが1回しか聴けないのが惜しくて、
帰り際「3位決定戦とか敗者復活戦とかエキシビションでもいいから、敗退した人のモデルがどう作るのか聴きたい」
という感想を言い合ったりしていた次第。

その他、妻はロゴを気に入っていたり、benz"AI"tenというところに感銘を受けていたりと、
データサイエンスを知らない人にも開かれているという点は繰り返し述べておきたいです。
現地参加のいいところは良いスピーカーが良い位置に設置されることで、音がいいこと。

なんか今年の夏~秋くらいにVol.2が開催されるらしいので、今からすでに楽しみですね。