2018年02月17日

回帰分析のエビデンスレベル

最近とあるニュースが話題になりました.「博士採用増で生産性低下」という日本経済新聞の日本経済研究センターの報告を基にした記事です.オリジナルの報告に輪をかけて日経がおかしな解釈をしたことで,twitterでも(案の定)炎上していました.詳細はこのtogetterを読んでいただくとして,この記事についてここで論評するのは避けます.少なくともオリジナルの文献のグラフを見る限りでは博士採用と生産性には正の相関があるように見えますが,どうみれば負の相関があると言えるのでしょうか?
この記事のタイトルにしか目を通さない日経読者も大勢いるであろうことを考慮すると,少なくともメディアが記事のタイトルをコロコロと変え続けたのは問題ありとは思います.タイトルの変遷をみるに表現の違いだけでいろいろなニュアンスが出てくるのがわかります.このニュアンスの違いをうまく使い分けて読者を惹きつけるのがメディアの技量です.メデイアもやはり商売ですから,ある程度は情報を都合よく解釈することも売れる情報を発信するためには必要なのかもしれません.このような事情もあって,Stat Spottingを趣味とするものにとっては,メディアは良い対象なのです.とはいえ,週刊誌ならともかく,やはり新聞には信頼できる情報源としての品位を保ってもらいたいと個人的には願っています.
メディアに都合よく操られまいという意識が高まっている昨今ですから,読者も勉強しています.何かしらの報道があると,それは単なる疑似相関にすぎないというのがよくある批判の一つです.ビッグデータの流行に伴って様々な啓蒙書が出版されいます.例えば,以前紹介した伊藤公一郎(2017),『データ分析の力 因果関係に迫る思考法』,光文社新書などは産業分野以外における実験の工夫と苦労がわかる良書でした.この本に先駆けて中室牧子,津川友介(2017),『原因と結果の経済学』,ダイヤモンド社というかなり内容が重なっている本も出版されています.中室さんの『学力の経済学』に比べるとあっさりしすぎていてわたしには今ひとつでしたが,それでもよく売れているそうです.一般人に対する統計リテラシーレベルの底上げにこれらの書籍の貢献は大きいでしょう.
とはいえ,昨今の「因果関係を絶対視して相関関係を軽視する」風潮には少し疑問を持っています.
『原因と結果の経済学』ではエビデンスを因果関係を示唆する根拠と定義しています.経済学ではそのような考えがあるのかもしれませんが,私は因果関係があろうとなかろうとに関わらず,エビデンスとはpeer reviewを経た(科学的)知見のことと考えています.
もともとエビデンスという考え方は医療分野のEBM(Evidence Based Medicine)からきたもので,『原因と結果の経済学』にも有名なエビデンスのピラミッドが改変されて掲載されています.それによれば,エビデンスレベル(結果の信頼性)が高い方から低い方に,一番上にメタアナリシス,次にランダム化比較試験(RCT),擬似実験と続いて一番下に回帰分析があります.この改変されたピラミッドは間違いとまでは言えませんが,ミスリーディングを誘うと思います.
一つにはエビデンスの強さはデータの性質によるものであって,データ分析の手法には良いも悪いもないということが見落とされています.回帰分析くらいしか適用できないデータであるからこそエビデンスレベルが低いということなのです.回帰分析の結果であっても,ここから因果関係の仮説をたてて再現性の検証を実施したものであれば,信頼性はあるといえます.統計的問題解決で中心となる統計手法(統計モデリング)は重回帰です.
二つ目として,特定の研究手法を採用するだけで,その結果のエビデンスが強くなるとは限りません.EBMにおけるピラミッドではRCTがエビデンスレベルが高い(文献によっては,最高位にメタアナリシス代表されるSystematic Reviewという二次情報が置かれていて,その次のレベルをRCTとしているものもあります)のは当然としても,このRCTでは二重盲検などの処置が施された介入試験でなければなりません.RCTであればそれだけでエビデンス足り得ないことは明らかです.二重盲検の適用については適用実験ごとに議論が必要ですが,例えば,特定の学習手法が子供の能力向上に与える影響を調査するような場合は,やはり臨床試験におけるプラセボ効果の排除が必要になるでしょう.
三番目にEBMのピラミッドにはRCTの下の階層に非ランダム化比較試験とでもいうCohort Study(コホート研究)があり,更にその下のレベルにCase Control Study(症例対象研究)とアンケート調査のようなCase Series(横断研究)がそれぞれ位置します.これら三つの研究手法をまとめて疫学調査あるいは観察研究という場合があります.『原因と結果の経済学』で回帰分析と称している階層はおそらくこれらに対応させたものと考えられますが,EBMでは最下層にはCase Reports(症例報告)があって,これは記述研究と呼ばれています.更にその下にはEditorialという研究者の意見や考えというエビデンスとなり得ない階層もあるのです.このように,本来ならば回帰分析の下にもエビデンスレベルが低い手法があるのにそこを示さないのはやはり(著者の主張に)誘導的であると言わざるを得ません.いずれにせよ,オリジナルのEBMのエビデンスレベルのピラミッドでは回帰分析について言及されているわけではありません.
もう一つ言いたいことがあって,疫学調査では回帰分析を使うことが多いのは事実とはいえ,疫学調査の結果のエビデンスレベルが低いから研究の価値が低いというわけではないということです.疫学研究はその性質から結果のエビデンスレベルが低くなってしまうのは宿命のようなものです.かといって疫学研究の価値が低いわけでは全くありません.反対にRCTであっても特定の企業がスポンサーについたような研究では報告バイアスが生じる可能性がありますし,peer reviewされた研究であっても,そこにもやはり出版バイアスがあったかもしれないことを忘れてはなりません.要するにRCTで回避できるのはいわゆる交絡バイアスや選択バイアスだけなのです.
このような理由で産業分野の私にとっては『原因と結果の経済学』で回帰分析が不当に低く扱われているのに違和感を覚えました.そもそも因果関係を追求するのは学者の仕事であって,私たちには因果関係を追求するよりも重要な仕事があります.誤解されることを恐れずに言ってしまうと,それは利益を追求することです.装置に異常が起こって歩留まりを落としていることが判明したならば,直ちに対策を講じなければなりません.おそらくDOEを実施して因果関係を把握するよりも先に,手元にあるデータで回帰分析でも何でも実施して何らかの策を講ずるべきです.もちろん,因果関係は不明ですから,分析結果が再現する保証はありませんが,対策に固有技術の知見が裏打ちされているならばエビデンスレベルが低いからと言って躊躇すべきではないと考えます.
メタボ健診や子供の学力向上では経済学見地?からエビデンスを考慮することの必要性は理解できますが,それと量産ラインで今起こっている問題解決とは別のストーリーがあり得ると考えます.メタボ健診の場合であっても,エビデンスを求めるあまり,対策に時間がかかり過ぎてしまうと経済的損失が発生します.このことを見失っていないでしょうか.もちろん,エビデンスを軽視しているわけではありません.ただ,何らかの結果がpeer reviewを経て科学的知見に昇華するには一般的には長い時間がかかるということです.

ここまで一気に書いて読み返すと,いろいろ論理の粗や言いたりないことが目に入りますが,ブログなのでご容赦ください.因果関係についてはもっと書きたいこともあるのですが,論点もずれてきましたので続きはまた今度にします.それでは.
タグ:統計学 books
posted by Tad at 14:01| Comment(0) | TrackBack(0) | 雑記

2017年10月09日

『データ分析の力』

先日,Amazonの本書のページを見た際に「この商品を買った人はこんな商品も買っています」というところを興味深く拝見しました.どのような人が本書を読んでくださっているのかのイメージが掴めます.JMP関連の本がほとんどという中で目についたのが伊藤公一朗(2017)『データ分析の力 因果関係に迫る思考法』光文社新書 です.ビッグデータのデータ分析という多くの方が興味を持つ分野の本であり,新書なので気軽に買える値段ということもあって多くの方々に読まれているようです.レビューも高評価なので,私も読んでみました.
著者によれば,因果関係の見極め方を計量経済学の観点から解説した本とのことですが,データ分析一般を視野に因果関係の深い議論に切り込むというよりは,計量経済学におけるデータ分析の応用例を解説した本です.冒頭に,例によってアイスクリームの話などを引いてRCT(ランダム化比較試験)が出てきます.それに続いてRCTが利用できない状況で,意図的な実験ではないデータを利用する様々な手法とその限界とともに紹介されています.実験計画がごく普通にできる産業分野の技術者にとって,この本を読んでこれらの手法の概念を理解するというよりは,データ分析は分析者の工夫と熱意で成し遂げられるものということを理解することの方に価値があります.
社会科学や心理学,それにこの本のような一部の経済学は一般一般にはデータ分析がしにくい分野です.特に心理学では様々な工夫を凝らしてデータが取られていますが,その多くは相関研究ではあるものの,論文の結語にその旨の注意が書かれているものが多いです.RCTを実施するにはコストだけでなく倫理面でも大きな障害がある分野です.相関研究だとしてもそこにはデータを積極的に取る為に大きな努力が必要です.自然とそこにデータを扱う態度に対して他の分野との温度差を感じます.技術者上りよりも営業畑からの人の方がデータ分に向いていると聞いたことをこのブログのどこかで書いた記憶がありますが,良いデータ分析に何よりも必要なのは熱意なのかもしれません.
もちろん良い本だとは思いましたが,RCTの重要性を理解するなら他にもいろいろ良い文献があります.例えば,私が最初にRCTという言葉を知ったのは,ずいぶん昔のことですが,日本産科婦人科学会の学会誌の津谷 喜一郎 , 石川 睦男,日産婦誌第51巻 第9号,第51回日本産科婦人科学会生涯研修プログラムの中の7) Evidenceと臨床試験
です.この文献は実際にご覧いただければわかるのですが,エステサロンの効果を解説するために広告から持ってきたという写真が載せてあるのですが,その女性の写真の腕に文字が写り込んでいてとてもシュールなのでとてもよく記憶しています.この当時でもフォトショップがあったのでこの程度のノイズは簡単に消せたはずですが,このまま掲載したのは著作権などに配慮してなのかは不明です.因みに,この文献で覚えた背景因子という言葉が,共変量という言葉よりもその意味が伝わりやすいと考え「統計的問題解決入門」でも背景因子を採用しました.今読み返してみると,「臨床試験の基本的構造は患者という個人の利益ではなく,患者の肩越しの母集団の利益を考えているために,個別的倫理と集団的倫理との間にジレンマが生じる」などというくだりは臨床試験の重みがひしひしと伝わってきます.
『データ分析の力』では(偶然に)まるで実験がなされたかのような状況を利用する「自然実験」としてRDデザイン,集積分析,パネル・データ分析などが解説されていますが,JMPならば複数の背景因子を「傾向スコア」という単一の指標に集約した分析が可能です.「傾向スコア」の値をカテゴリカルな因子(説明変数)として(名義ロジスティック)回帰分析を実施することも可能です.因みに名義ロジスティック回帰では特性はカテゴリカル(例えば改善あり,改善なし)がYになります.産業分野では,何らかの処理の有無が紛れ込んでいる量産データなどが対象となりますが,何か良いデータが見つかれば,そのうちこのブログでやり方などを解説してみたいと思います.『統計的問題解決入門』の第一講で「名義ロジスティック」に言及しています.技術分野ではあまり馴染みがない手法なののでその雰囲気だけでも味わって頂こうと考えたのですが,少々高度な内容になるので,その中身には全く触れることができなかったのが少し心残りでもありました.
『データ分析の力』を読んで一つ気になったのは,最後で説明されている内的妥当性と外的妥当性についてです.データから得られた分析結果はもちろんそのデータサンプルに対しては妥当(内的妥当性あり)ですが,分析結果がそのサンプル以外にも適用できるのかという問題を外的妥当性と言うそうです.これは統計モデルのオーバーフィッティングのところでお話ししたことと同じなのですが,私が思うに,外的妥当性がなければそもそも因果関係は議論できないのではないでしょうか.この本からは内的妥当性があれば因果関係を議論できるように読めます.少なくとも計量経済学ではそれが許されているのでしょうか?
書評になっていませんが,今回はここらへんで.
タグ:統計学 books
posted by Tad at 07:51| Comment(0) | TrackBack(0) | 雑記

2017年09月23日

あての話

Amazonで万年筆のインクを物色していて,いつもは見ないことにしている「統計的問題解決入門」のページにふと目がいったところ「なか見!検索」が実装されたようですね.「はじめに」を含んだ最初の15ページだけですが,雰囲気だけでも伝わればありがたいです.とは言っても,ここだけ見るとJMPマニュアル本のように見えてしまうかもしれません.本書の第3講以降では徐々にJMPを問題解決に使うことに主題を移していくので,マニュアル本のつもりで購入された方は当てが外れるかもしれません.そうだとしたら申し訳ないです.
「当てが外れる」で思い出したので無駄話を一つ.本当はそろそろ本書の補足などを書いていこうとも考えたのですが,来月開催予定のJMPer’s Meetingでお話しすることと重複してもどうかと思い,このブログではしばらく雑記を書くことにしておきます.会場を広くして定員を増やせる可能性もあるとかで,上記のセミナーはまだ申し込み可能なようです.よろしければどうぞお越しください.
さて,当てが外れた話です.私は木工を趣味としています.赴任先の米国では男10人集めればそのうち3人は木工(Wood Working)をやっているというくらい普及していて,TVや雑誌でも盛んにWood Workingの情報を流していました.木工道具の専門店なども近所にあり,同僚のアメリカ人に勧められたこともあって一時はかなり凝りました.自宅に地下室があったので,テーブルソーやバンドソーなの大型機材を買い込み,本棚やテーブルなどを製作していました.家具作りともなると大きい板が必要なので,製材所に行ってWalnutなどの気に入った木材を見て回ります.その際に注目するのが木目の性質や変形具合です.特に反った木材は要注意です.日本では一般に反った木材をアテ材と言いますが,これは厳密には正しくありません.
陽疾と書いて「あて」と読む言葉があります.太陽に疾る(はしる)と言うことを意味していると推測しますが,何が疾るのかというとそれは樹木です.太陽を目指して樹木は成長します.特に山の斜面では南を目指して斜めに伸びていくことになります.こうした樹木は重力に対抗するために成長の過程で主幹が変形し,内部に応力が蓄積されます.樹木のこのような部分を陽疾と言うのです.単に反りが大きい木材をアテ材というのではありません.というのも,アテ材は(単に)反っている木材に比べて少々性質が異なっているからです.厳密には陽疾が原因で現在(あるいは今後それ以上に)反っている(いく)木材のみをアテ材といいます.
陽疾に蓄積された応力が製材の乾燥工程でリリースされると,その木材は反りやすいのです.一般住宅用の木材は炉に入れて人工乾燥(Kilin Dry)させることがほとんどですが,人工乾燥では乾燥の過程で樹種によっては木材にダメージが入りやすいので,いまだに天然乾燥(Air Dry)も実施されています.この状況では家を建てた後に,徐々にそれらの木材が反っていくという困ったことになります.
このため,昔は上棟してしばらく放置して,壁塗りをする前に補修可能する工程を設けていたそうです.スループットを犠牲にしてノイズ対策の工程を追加したといったところでしょうか.もう一つ,昔の大工の棟梁は家(と言っても大きな家でしょうけど)を普請する際にしていたというロバスト化があります.もう一つ,昔(と言っても相当昔でしょうけど)棟梁は自ら山に行って木を下見に行き,自然環境でどのように育っているかを観察し,どの木材をどこに使うかを決めていたと聞きます.樹木を伐採,製材する前に陽疾の具合を観察して,それぞれが乾燥していく過程で今後どのように反っていくのかを予測しておくわけです.腕のいい大工はその予測に基づいて(反りの具合いを見込んで)家を建てました.これがうまく予測通りになってくれると,家の(接合部の)強度が増していきます.なんとも素晴らしい匠の技ですが,たまにこの見込みと異なる反り方をしてしまう木材が出てきます.こういう状況をアテが外れるといったのです.
このような匠の技は現代では失われつつあります.反りの出にくい(陽疾のない)樹木を育てる工夫はもちろんですが,集成材などを使用することでそもそも反りのない木材を使ったり,ジョイントに金具を使うことで反りを強力に補正したりして,反りを予測するという必要がなくなってきているからです.私が大工だったらつまらない時代になったと嘆いているでしょう.予測するというのは人間にとって必須の能力であるとともに一種の麻薬のようなものです.アテが外れるということにはギャンブル(射幸心)とも密接な関係があるので,それは人間にとって必要悪であるのかもしれません.
統計的問題解決は統計モデルによる予測をベースにしていますが,それを面白いと感じるのはその予測が当たった(あるいは外れた)ということを目の当たりにできるからです.匠の技のようなKKDの技術を後世に残すことも統計的問題解決の一つの重要な役目ですが,予測という点で両者に接点があるようです.職人技をモデル化して後世に継承することには近いうちに挑戦してみたいと考えています.
今週も雑談ですいませんでしたが,それではまた.
posted by Tad at 13:00| Comment(0) | TrackBack(0) | 雑記