基準：曲を知っている譜めくり係
いちばんの譜めくり係は、曲を知っている、隣の音楽家です。その人がいることを、ほとんど意識しません。ページがめくれるのは、目が最後の段に着いたときです。それより前にはめくれません。反復を飛ばせば、その人も飛ばします。止まって、フレーズを弾き直すと、その人はもうそこにいます。一瞬あなたを見失っても、その人は待ちます。
聴いてめくるアプリは、マイクと楽譜を頼りに、その基準を満たさなければなりません。その土台になる技術が楽譜追従（score following）です。音だけから、演奏者が楽譜のどこにいるかを割り出します。1984年に、Barry VercoeとRoger Dannenbergが、それぞれ初めてこれを示しました。目的は、コンピュータが生のソリストに伴奏できるようにすることでした。ページをめくるには、もう1つ必要なことがあります。いつ動くかを知ることです。
早すぎるめくりが、遅いめくりより悪い理由
楽譜を読みながら弾くとき、目は手より約1秒先を行っています。速いテンポでは約0.7秒、遅いテンポでは約1.3秒です。ピアニストの初見演奏を調べた古典的な研究では、この間隔はアマチュアもプロもほぼ同じでした。プロはただ、その1秒により多くの音符を収めているのです。
この1秒が、ページのめくり方を決めます。早すぎると、まだ読んでいる音符が消えてしまいます。少し遅れると、目はページの下で1拍待つことになります。この2つの失敗は、同じ重さではありません。早すぎるめくりや、間違ったページへのめくりは音楽を壊し、遅いめくりのせいで失うのは、ひと息ぶんです。そのため、よい譜めくりは、遅いめくりより先に、早すぎるめくりを避けます。
めくる位置は、ページの終わりから、決まった音楽的な距離だけ手前です。距離は、弾いているテンポでの拍で数えます。SheetScrollの初期設定は2拍で、目がそこに着くころには、新しいページが目の前にあります。「設定 → 表示と譜めくり」の早めにめくる量で、増やしたり減らしたりできます。
耳で追うのは、なぜ難しいのか
最初の小節から最後の小節まで、よどみなく通す演奏を追うのは、簡単なほうです。単純な追従を惑わせる場面が、実際の演奏にはたくさんあります。
| 起きること | 難しい理由 | よい譜めくりがすること |
|---|---|---|
| 止まって、フレーズを弾き直す | 無音は、止まったことは伝えても、どこから弾き始めるかは伝えない | ページをそのままにして、止まった場所の近く、小節やフレーズの頭から再開すると見込む |
| 難しいパッセージを何度も繰り返し練習する | 戻るたびに後ろへのジャンプになり、間をおかないことも多い | 何度も戻るパッセージに気づき、そこにいると見込む |
| 音楽が繰り返される：節、書き出された反復、戻ってくる主題 | 2か所が、音楽が変わるまでまったく同じに聴こえることがある | 両方の場所を候補に残し、違いが出るまでページをそのままにする |
| 間をとる：ルバート、フェルマータ、長い休符 | 楽譜のテンポは出発点にすぎず、伸ばした和音にはテンポがまったくない | 弾いているテンポに追従し、伸ばす音では待ち、休符はそのペースで数える |
| 小さな音で弾く、または部屋がうるさい | 小さな音は、部屋の物音と区別がつきにくいことがある | 弾きながら部屋の音を測り、音量だけに頼らず、鳴っている音そのものを聴き取る |
| 楽器のチューニングが少しずれている、または合唱の音程が下がっていく | どの音も、楽譜の音から少しずれて聴こえる | 音からチューニングを見つけ、ずれていっても追従する |
| ほかの奏者もいっしょに弾く | ほかの人の音が、自分の音に混ざる | ほかの人が弾いていることを聴き分け、その人たちのパートが楽譜にあれば、楽譜全体を聴き取る |
| 途中から弾き始める | どこから始めたかを示すものがない | まず開いたページを調べ、そのあと残りを探す |
| 楽譜がスキャン、またはスマートフォンで撮った写真 | 音符や反復記号が、読み違えられていることがある | 読み取った内容のまま追従し、反復はすぐに直せる |
5つのステップで見るしくみ
聴いてめくるアプリには、5つの仕事があります。地図づくりは弾く前に済ませ、残りは弾いている間に、1秒に何度も行います。
- 聴き取る： 弾いている音を、一つひとつの音が聴き分けられるほどはっきりと。
- 地図にする： 楽譜の音符と、反復やジャンプをたどるすべての道順。
- 追従する： 今どこにいるか、どれくらいの速さで進んでいるか。
- 決める： 今めくる価値があるかどうか。
- 見せる： めくりを、目が追える形で。
ステップ1：弾いている音を聴き取る
まずは音からです。SheetScrollは、デバイスに、通話向けの処理を通さないマイクそのままの信号を求めます。通話向けの処理は音量の差をならし、長く安定した音を弱めてしまうことがあります。1秒に50回、ピアノの全音域にわたって、半音ごとにどれだけ強く鳴っているかを測ります。
次は、比較です。SheetScrollが学習させた小さなニューラルネットワークが、直近の4分の1秒の音を、コンパクトな「指紋」に変えます。楽譜のすべての瞬間にも、そこで始まって鳴っている音符から、同じことをします。1回の比較で曲のすべての場所を同時に評価するので、どこへのジャンプにも気づけます。曲の録音は要りません。楽譜があれば十分です。
電子ピアノなら、MIDIでこのステップを省けます。弾いた音が、弾いたとおりに正確に届くからです。どちらの場合も、聴き取りはデバイス上で、音が届いたそばから行われます。録音も保存も送信もしません。
ステップ2：楽譜を地図として読む
聴いてめくるアプリは、楽譜に何が書かれているかだけでなく、音楽がどこへ進むかも知っていなければなりません。SheetScrollは、MusicXMLファイルから印刷した楽譜の写真まで、どの楽譜も1つの地図に読み取ります。小節とその音符、テンポの指定、各小節がページのどこにあるか、そして反復記号、1番・2番括弧、D.C.、D.S.、Fine、コーダをたどる道順です。
地図には、よく似て聴こえる場所の印もつけてあります。書き出された反復や、讃美歌の節などです。そのため、アプリはどこで慎重になるべきかを前もって知っています。スキャンした楽譜の反復記号が読み違えられていたら、⋯の中の反復で、道順を一度直します。音符を直す必要はありません。
ステップ3：時計ではなく、あなたに追従する
音と地図がそろうと、アプリは2通りの見張りを続けます。広い見張りは、曲のすべての場所を、あり得るすべてのテンポで、同時に頭に置いています。そのため、戻っても、反復を飛ばしても、新しく弾き始めても、視界から外れることがありません。近い見張りは、1音ずつあなたに追従し、画面に見えるハイライトを動かします。
近い見張りが新しい場所へ動くのは、広い見張りの見立てがしばらく保たれ、しかも明らかによく合うときだけです。弾き間違いや咳で、ページが飛んでいくことはありません。本当のジャンプには、数音のうちに追従します。
テンポを決めるのは、あなたです。SheetScrollは、弾いた音からあなたのペースを読み取るので、速いパッセージにはついていき、フェルマータでは待ち、リタルダンドではいっしょに遅くなります。無音は、止まったという意味で、別の場所へ移ったという意味ではありません。楽譜に書かれた休符なら、あなたのテンポのまま数え続け、それ以外の場所なら、止まったところで待ちます。
奏者がよくすることも、あらかじめ見込んでいます。止まったあと、たいていの奏者は、少し前の小節かフレーズの頭から弾き直します。練習中は、1小節をループし、間をおかずに1段戻り、同じ難しいパッセージに何度も戻ります。これを見込むアプリは、あなたを見つけるのが早くなります。
ステップ4：めくる瞬間を決める
今どこにいるかを知るのは、仕事の半分です。もう半分は、いつめくる価値があるかを決めることです。アプリは、そのつど、あなたがいるかもしれない場所を見比べます。まだこのページにいるなら、めくると必要な音楽を隠してしまいます。もうすぐこのページを離れるなら、待つと1拍ぶん遅れます。早すぎるめくりは、遅いめくりよりずっと高くつくので、次のページが必要である可能性がはるかに高いときだけ、めくります。
ここから、いくつかの決まりが生まれます。
- 思いがけない無音では、決してめくらない。 フレーズの途中で止まれば、何も動きません。
- ジャンプのあとは、より確実に。 ジャンプや弾き直しの直後は、めくる前により高い確信を求めます。
- 予測ではなく、聴いてから。 めくる位置を過ぎたのを聴いてからめくります。過ぎるだろうと見込んだだけでは、めくりません。
- コイントスで決めない。 2つの場所が同じくらい有力で、必要なページが違うときは、音楽が見分けをつけるまで、ページをそのままにします。
ページをそのままにしているときは、ステータス行にその理由が表示されます。迷っている小節つきの位置が不確かか、探していますです。弾き続けるか、今いる小節をタップしてください。
ステップ5：読み続けられる形でめくる
ページがどう変わるかは、いつ変わるかと同じくらい大切です。縦向きのタブレットでは、SheetScrollは半ページずつめくります。まだこのページの下半分を弾いている間に、次のページの上半分が現れるので、どのめくりもあわてずに済みます。スマートフォンでは、1段ずつ進みます。どの変化も短い1回の動きで、推測した速さでゆっくり流れるスクロールではありません。
楽譜の上には、何も描かれません。SheetScrollが伝えたいことは、余白にとどまります。そして、優先されるのはいつもあなたの操作です。ペダルを踏むかタップすると、すぐにページがめくれ、SheetScrollに今の位置が伝わります。部屋がうるさくても、自動のめくりがオフになることはありません。SheetScrollが再び確信を持てるまで、ページがそのままになるだけです。
実際の録音に追従するようすを見る
5つのステップのすべてが、台本のない実際の演奏で働いているようすです。
聴いてめくるアプリを助けるコツ
- デバイスを楽器の近くに置く。 部屋の音より、あなたの音のほうがよく聴こえる位置です。音が小さすぎるとき、または周りがうるさすぎて追えないときは、SheetScrollがお知らせします。
- 電子ピアノならMIDIを使う。 音が正確に届き、間に部屋の音が入りません。
- 本番の前に道順を確かめる。 反復を開いて、反復記号や括弧、ジャンプを確かめ、スキャンで読み違えられた箇所を直します。
- 危ない譜めくりに印をつける。 危ない譜めくりには、よく似た音楽のあとや、ジャンプのあとに来るめくりが並びます。1回タップすると、そのページは手動でめくるようになります。
- 合図の早さを選ぶ。 早めにめくる量で拍数を増やしたり減らしたりでき、半ページずつのめくりなら、いちばん余裕が持てます。
- ペダルを手元に置く。 聴き取りと併用でき、踏むたびにSheetScrollに今の位置が伝わります。
- ほかの人と演奏するなら。 ほかの奏者を設定するか、SheetScrollにその音を聴かせます。一緒に演奏なら、1台が聴き取り、全員のページをめくります。
SheetScrollで試す
SheetScrollは、演奏を聴いてめくる機能を中心にした楽譜リーダーです。ピアノ、鍵盤楽器、弦楽器、木管楽器、金管楽器、声、ギター（タブ譜を含む）に、マイクまたはMIDIで追従し、iPad、iPhone、Android、Mac、Windows、Linux、Webで動きます。オフラインで動き、音がデバイスの外に出ることはありません。
リーダーは無料で、ペダルを踏むかタップすれば、いつでもページがめくれます。聴き取りと自動の譜めくりは、SheetScroll Proの機能です。内蔵のコースは、Proなしで演奏を聴いてめくります。
よくある質問
楽譜追従とは何ですか？
音だけから、演奏者が楽譜のどこにいるかを割り出す技術です。聴いてめくるアプリは、これで今の位置を知り、そのうえで、いつめくるかを決めます。
聴いてめくるアプリには、曲の録音が必要ですか？
いいえ。SheetScrollは、演奏を楽譜そのものと比べるので、開いた楽譜であれば、スキャンや写真も含めて、どれにでも追従できます。
音を間違えたらどうなりますか？
追従を続けます。SheetScrollは前後の音楽も合わせて判断するので、1音の間違いでページが動くことはありません。今の位置に自信がないときは、ページをそのままにします。
止まったら、ページはめくれますか？
いいえ。止まっても、ページがめくれることはありません。また弾き始めれば、SheetScrollは、たいてい数音のうちに見つけます。
なぜ終わりの2拍前にめくるのですか？
目は手より約1秒先を読んでいるからです。2拍前なら、目が着くころに新しいページが目の前にあります。「早めにめくる量」で、増やしたり減らしたりできます。
反復、D.S.、コーダにも追従しますか？
はい。反復記号、1番・2番括弧、D.C.、D.S.、Fine、コーダは、追従する地図に含まれています。「反復」で確かめられます。
関連ページ
- 自動譜めくりの方法ペダルから演奏を聴くアプリまで、手を使わない譜めくりの方法を、それぞれの長所と短所とともに解説。聴いてめくるアプリのしくみも紹介します。
- 反復、D.S.、D.C.、コーダ楽譜の反復記号、1番・2番括弧、D.C.、D.S.、コーダ、フィーネの読み方を、実例つきで解説。譜めくりがそれにどう追従するかも紹介します。
- 聴き取りとマイクデバイスの置き場所、SheetScrollが聴き取るもの、ページをそのままにする場面、今いる小節をタップして位置を伝える方法。
- ページめくりページは終わりの2拍前に、決して早すぎずにめくれます。合図の早さの変え方、半ページずつのめくり、ペダル、タップ、手でのめくり。
- Bluetooth譜めくりペダルBluetooth譜めくりペダルのしくみ、各デバイスでのペアリング、モードの選び方、AirTurnやPageFlipなどのメモ。
- 譜めくりアプリ比較演奏を聴いてめくるアプリ（SheetScroll、Newzik、Smartleggio）と、顔や視線でめくるアプリ（forScoreなど）を比較。