ここから本文です

線形回帰の求め方で二乗和を2で割るの理由?

taro_hirakoさん

2016/11/506:48:19

線形回帰の求め方で二乗和を2で割るの理由?

やる夫で学ぶ機械学習 - 単回帰問題 -
http://tkengo.github.io/blog/2016/01/04/yaruo-machine-learning2/
"E(θ)E(θ) を微分することになるんだが、微分した式をちょっとだけ簡単にするためのトリックだ。最適化問題は、何か定数が全体に掛かっていたとしても、求まる答えは変わらないからこういうことができる。"

上記のように書かれているのですが、説明をお願いします。

閲覧数:
63
回答数:
2
お礼:
100枚

違反報告

ベストアンサーに選ばれた回答

k_ryuichirouさん

2016/11/517:56:18

なにが分からないのか書かれていませんので、想像で書きますね。
こちらご参照ください。
http://qiita.com/Ryuichirou/items/97d923671a0015256173

この質問は投票によってベストアンサーに選ばれました!

ベストアンサー以外の回答

1〜1件/1件中

zatsugakusanさん

2016/11/1209:01:07

例えば

f(x)=(x-1)^2

を最小にするxを求めればx=1となりますが、

f(x)=100(x-1)^2

を最小にするxを求めてもx=1になります。
あるいは

f(x)=(1/2)(x-1)^2

を最小にするxを求めてもx=1になりますよね。
機械学習で最適化問題を解く主な手法は、損失関数をパラメータで微分して0となる条件式を解くことです。高校生でもやることですね。
二乗和の式をこれから微分すると分かっているのですから、微分して「2」が出てくることも予めわかっています。

ですから、二乗和の損失関数に1/2を掛けていれば微分したときに消えてくれるのでそうしておく。ただそれだけのことです。そうして求まるパラメータ自体には何の影響もありません。

逆に二乗和では無い損失、例えばヒンジ損失とかロジスティック損失、交差エントロピーのような分類のための損失にはこのようなトリックは使いません。

「2で割るのは、単に二乗和が微分したら2が出てくることが分かっているからです。」

みんなで作る知恵袋 悩みや疑問、なんでも気軽にきいちゃおう!

Q&Aをキーワードで検索:

Yahoo! JAPANは、回答に記載された内容の信ぴょう性、正確性を保証しておりません。
お客様自身の責任と判断で、ご利用ください。
本文はここまでです このページの先頭へ

「追加する」ボタンを押してください。

閉じる

※知恵コレクションに追加された質問や知恵ノートは選択されたID/ニックネームのMy知恵袋で確認できます。