【リハビリで使える!】教師あり学習と教師なし学習、強化学習についての違いを解説!!具体例も!

// /

はじめに

おばんです!Yu-daiです!!

今回は

教師あり学習

教師なし学習

強化学習

これらの違いについてまとめていきましょう!

前回の記事も読んでいただけると
運動学習に関する理解度は増すと思いますので是非!

それではよろしくお願いします!!

// /

教師あり学習とは?

まずは教師あり学習について解説していきましょう!!

「内部モデルによる教師あり学習」とは,川人らのフィー ドバック誤差学習に代表される運動制御と運動学習の理論であり,おもに運動時間が短い素早い熟練した運動の制御・学習の理論である。

道 免 和 久:運動学習とニューロリハビリテーション 理学療法学 第 40 巻第 8 号 589 ~ 596 頁(2013年)

つまり、教師あり学習とは

フィードバックによる”誤差学習”のことを指します!

どういうことか説明していきます!!

教師あり学習=フィードバック誤差学習

フィードバックによる誤差学習には小脳回路が関わってきます!!

efference-copy
long-term-depression:LTD

小脳には

延髄外側にある”下オリーブ核”で

  • 予測された結果に関する感覚情報(フィードフォワード)
  • 運動の結果に関する感覚情報(フィードバック)

この2つの感覚情報が照合されます!

2つの感覚情報に誤差が生じている場合…

誤差信号が下小脳脚を通り、
登上繊維を伝って小脳の”プルキンエ細胞”を活性化させます!

ここからの作用はここでは詳しく書きませんが
結果として、その誤差情報をもとに

視床を介して”大脳皮質”へ
運動の誤差がさらに修正されるよう戻されます!

つまり、フィードバックされた情報は

その時の運動に役立つわけではなく…


次回の運動の際に生かされます!!

これが繰り返されることによって

運動時の誤差情報は減少します!!

小脳の中では適切な運動が

内部モデル(予測的運動制御モデル)として構築!

予測に基づいた運動制御が可能になります!

✔︎要チェック!!

内部モデルとは?

内部モデルとは,脳外に存在する,ある対象の入出力特性を模倣できる中枢神経機構である.内部モデルが運動学習に伴って獲得され,また環境などに応じて適応的に変化するメカニズムが備わっていれば,迅速な運動制御が可能となる.

小堀聡:人間の知覚と運動の相互作用─知覚と運動から人間の情報処理過程を考える─

つまり、

脳は身体に対し、

どのような運動指令を出せばどのように身体が動く?

このような情報が蓄積されていて
ほぼ確実に狙った動作を再現することを可能にする神経機構のようです!

この内部モデルが構築されていることによって
私たちは様々な動作を目視せずにできるようになっています!

ちなみに…

”モデル”というのは

外界のある物のまねをする
シミュレーションする

こんな意味があるようです!

最後に内部モデルを構成する2つの要素を簡単に紹介!

逆モデル

望ましい運動結果から、それを実現するために必要な運動司令を計算する

Inverse model

順モデル

脳から筋肉に送信された運動司令の遠心性コピーから運動結果(感覚フィードバック)を予測する

Forward model

 

以上が教師あり学習についての解説でした!
誤差学習に関与する小脳の神経回路について知りたい方はこちらのページへどうぞ!!

【必見!!】運動学習の理論やメカニズムについて分かりやすくまとめたよ!!脳機能・神経機構編

 

教師あり学習の具体例

次に具体例ですね!

教師あり学習はある程度熟練した運動を多数回繰り返すことによって正確な内部モデルを構築する学習則である

道 免 和 久:運動学習とニューロリハビリテーション 理学療法学 第 40 巻第 8 号 589 ~ 596 頁(2013年)

以上のことからのポイントをまとめると…

  1. ある程度獲得できている動作を
  2. 反復して行わせる

この2つがポイントになりますね!!

加えて、感覚や視覚のフィードバックによる運動修正には
数10msec~100msec程度の時間の遅れがあります!
(資料によっては200msec以上という定義も)

これ以上早い動作だと
フィードバック制御が追いつかない為
ぎこちない動作になってしまいます!

✔︎ある程度習得していて

✔︎運動速度がそれなりにゆっくり

このような条件を満たす課題を反復して行うことが
教師あり学習を進めるために必要になります!

リハビリ場面で最もわかりやすい例だと…

ペグボードなどの器具を用いた巧緻作業練習!

これは主に視覚的フィードバックを利用して
運動修正をさせるフィードバック制御が中心です!!

動作全体を”滑らかに”というのを意識させながら行います!!

当院でやっている人は少ないですが
同じようなことを下肢で実施させているセラピストも!
(目標物を床に数個配置して目でみながら麻痺側下肢でタッチするetc)

理学療法場面では比較的運動速度が”速い”課題の方が多いです

「じゃあ”フィードバック制御”は使えない?」

そういうわけではありません!!

  • 姿勢鏡・体重計・ビデオによる視覚的FB
  • 足底へのスポンジ・滑り止めシートなどによる感覚FB
  • 言語入力やメトロノームなどの聴覚的FB

これらをうまく用いながら
反復課題を行わせて”内部モデル”の構築を目指せば良いと思います!!

もちろん最初はFBが追いつかないため
動作は”緩慢”で”ぎこちない”と思います!

しっかり難易度調整を行なって安全にも気をつけて行いましょう!

// /

強化学習とは?

次は強化学習について!
”教師あり学習”を必要とする運動の種類として…

 正確さを要求されるすばやい運動

教師あり学習はこのタイプの運動に必要とされていましたが、
私たち人間の動作はそれだけではありません!!

起立や移乗動作などの

”運動の最終的な結果が適切だったかどうか”

つまり、

”複合した一連の動作”

このタイプの動作も日常生活において重要!!

例えば、起き上がりや起立動作はそうですね

このタイプの運動で重要なことは…

転ばずに立てたか
転ばずに移乗できたか

このように運動の過程ではなく結果を重要視します

狙った運動が成功した=成功報酬が得られた

患者本人にとって
この体験が運動学習を推し進めるために重要ですが…

この報酬による仕組みを”強化学習”と言います!!

強化学習=運動性記憶(手続記憶)の強化

”複合した一連の動作”を覚えることを

”手続記憶”

または

”運動性記憶”

このように言います!!

強化学習はこの手続記憶を強化する機能!
強化学習には基底核の辺縁系ループが関わってきます!!

詳細はこちら!!

強化学習には

報酬予測誤差

これが重要と言われています!

実際の報酬(動作の結果)と予測した報酬の差のことですが…

この報酬誤差が大きい時(=予測よりも良い結果であった時)に

実行した動作の学習が進められると言われています!!

中脳ドーパミン細胞の神経活動は、 予期しない時に報酬が与えられると増加し、報酬が与えられることが予測できる場合には持続的に活動し、予測された報酬が得られなければ減少する。

虫明 元:運動学習 ―大脳皮質・基底核の観点から― 総合リハ・36 巻 10 号・973~979・2008年

報酬には2種類あります!!

positive PLE
negative PLE 

PLE(Prediction error)=報酬価値予測誤差です!

つまり

予測した報酬よりも高かった=成功体験

予測した報酬よりも低かった=失敗体験

これらのことを指しています!!

negative PLEのわかりやすい例としたら

学習性不使用(Learned non-use)

これがよく知られていますね!!

よく知らない方はこちらのページへ!
【実はシンプル?】急性期脳卒中リハビリテーションにおける理論的背景と介入戦略について!!

脳卒中リハにおいて
この現象を予防することは
急性期からリハ介入する目的の1つになります!!

それでは、強化学習について具体的な例を考えていきましょう!

強化学習の具体例

強化学習において重要なポイントとしては

  • 予測した報酬よりも実際の報酬が大きいことが重要
  • 患者自身が実感できる結果(報酬)でないと意味がない

この2つが大きなポイントですね!

基本的には成功体験をしてもらえるよう環境調整をしましょう!

無誤学習法(erroless learning)”とも言います!!

無誤学習(errorless learning):介入の初期は,対象者が間違った反応をしないように,介助レベルを高くし,身体への強い介助である「身体的ガイド」によって,行動をスムースに行わせる。

山 本 淳 一:リハビリテーション「意欲」を高める応用行動分析* ─理学療法での活用─理学療法学 第 41 巻第 8 号 492 ~ 498 頁(2014 年)

これは子供の教育現場でも使用される手法でもありますが、
私たちも多用しているテクニックです!!

今回は、起立練習における例を説明していきます!

無誤学習をすすめるために

  • 座面の高さを上げる
  • 支持物を与える(台・手すり・サイドケインetc)
  • 足底接地の位置を変える(接地位置を手前にした方が立ちやすい)
  • 離殿させるタイミングを教える
  • どのタイミングでどの部位に力を入れるかなどを教えるetc

このように様々な工夫で難易度を落とし成功体験を積ませます!!

そして、徐々に下げた難易度を上げていきますが…

ここで大切なのが

難易度を上げすぎないこと!!

あくまで
狙った行動をスムーズに行わせる上で
必要な最小限の介助量・難易度に設定しておきましょう!

この最小限の介助量(またはヒント)のことを”プロンプト”と言います!

教師なし学習とは?

最後に教師なし学習についてです!!

おそらくこの学習則が最もマイナー?
というかあまり論じられていない部分ではあります!

教師あり学習

強化学習

今までこの2つの学習則についてまとめてきましたが
ほとんどの資料はこの2つが中心!

今まではなんとなく分かったと思いますが

教師なし学習においては
難しい用語がバンバン出てくるのでしっかりついてきてください!!

教師なし学習=使用依存性可塑性による学習

”教師なし学習”は大脳皮質において進められます!!

その主な神経機構として挙げられているのが…

”使用依存的可塑性”

何それ?という方多いですよね?

Use dependent plasticity(使用依存的可塑性):特定の機能を担う神経細胞が繰り返し活動すると,同じパターンの活動がつぎに生じやすくなる現象のこと。神経細胞間の情報伝達を担うシナプスの結合性変化が関与していると考えられている。

牛 場 潤 一:リハビリテーション神経科学が医療を創る  理学療法学 第 42 巻第 8 号 834 ~ 835 頁(2015 年)

どういうことかというと…

上肢麻痺の患者に対して積極的に手指を使わせるようにすることで
大脳皮質(1次運動野)では
その部位の”再現領域が大きくなる”ような可塑的な変化が起こる

このように言われています!!

学習性不使用とは?運動位においても廃用性変化が生じる
Nudo RJ,Plautz EJ,Frost SB(2001) Role of Adaptive Plasticity in Recovery of Function After Damage to Motor Cortex Muscle Nerve 24:1000-1019より一部改変し引用

つまり、手指・上肢・下肢のどれでもいいのですが、

積極的に使用頻度を増やした部位の皮質領域が拡大しその動きが改善します!

また、

”学習性不使用”によっても”使用依存的可塑性”は起こります!

負の強化学習によって麻痺側を使わなくなる

大脳皮質における麻痺側の再現領域が縮小する

先ほどとは逆のパターンですね!
使用依存的可塑性がマイナスに働いてしまったパターンです

まとめると…

教師あり学習では、
何が正解かをセラピストが教示して学習を進めますが

教師なし学習には正解はなく…
課題を繰り返し行うことで、記憶と実際の結果を結び付けて法則性を導いていく

このような学習則になります。

教師なし学習の具体例

最後に教師なし学習の具体例を紹介しましょう!!

直接リハビリには関係してきませんが、

赤ちゃんが寝返りや起き上がり、歩行を獲得していく過程

あれも”教師なし学習”ですよね!!
誰も教えないじゃないですか?歩き方とか
(自分の子供に歩行介助しながら何度も練習させていたことは秘密だ)

すみません、話逸れました

今までの話をまとめると…
脳卒中リハビリにおいては

”麻痺側をたくさん使わせれば良い”

ってことになります

え、それだけ?と思うかもしれませんが
文字通り”使用(頻度)に依存する可塑性”を活発にするにはそれしかありません!

ただし、

運動をただ闇雲に行わせるだけであれば僕らは必要とされません…

代償動作をかなり認めている状態で練習させれば
患者本人はその代償動作を含めて学習していきます

代償動作の全てを悪者にするわけではないですが
この代償動作の修正を含め、
実行されている動作が

”良いのか悪いのか”
”修正すべきかどうか”

これらについて患者に提示することが療法士の役割の1つだと思います!!

リハビリにおける運動学習は3つの学習則を組み合わせている!

それに加えてもう一つ!!
今まで散々、学習則ごとに具体的な例をまとめてきましたが…

運動学習は”1つの学習則のみでは成り立ちません”

多くのリハビリ場面では

”教師なし学習”

”教師あり学習”

”強化学習”

これら全ての学習則を用いながら運動学習を進めます!!

みなさんもご存知の

”CI療法”

この治療法は
これらの学習則をうまく活用して運動麻痺の回復メカニズムを構築しています!!

臨床で運動学習につなげるための重要なポイントはこちら!

1)非麻痺側の拘束(restraint)

2)多様性と繰り返し(massed principle)

3)難易度調整と達成感(gradual rebuilding and attainment)

4)課題指向的アプローチ(task-oriented approach)

5)Transfer packageなど

道免 和久:運動学習とニューロリハビリテーション 理学療法学 第 40 巻第 8 号 589 ~ 596 頁(2013年)

これらを一つ一つ紐解くと
3つの学習則によって説明可能ということを筆者は話しています!!

CI療法については僕自身も興味があったので
また別の機会に勉強してまとめたいと思います!

まとめ

それでは、本記事のまとめに入ります!!

本記事のまとめ
  • 教師あり学習=運動誤差学習
  • 強化学習=運動性記憶(手続記憶)の強化
  • 教師なし学習=使用依存性可塑性による学習
  • リハ場面においては3つの学習則を合わせて運動学習を進めていく必要がある

本記事が参考になった方は下のバナーをクリックしていただけたら嬉しいです!!


理学療法ランキング

Twitterのフォローもお待ちしています!

勉強になった方はシェアしてくれたら嬉しいです!

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です