はじめに 確率変数について、を求める方法を知りたかったので、導出方法を少し整理しました。 導出の方針と導出結果 結論だけを知りたい方のために、まず導出結果を書いておきます。 本記事では、(1)式をモーメント母関数とマクローリン展開を用いて導出しま…

はじめに 直近の評価面談で、上司から「認識合わせの能力が足りない」と指摘を受けました。この点について私自身も強い課題感を持っており、対策を打つ必要があると感じていました。 なぜ認識合わせがうまくいかないのかを考える中で、頭に浮かんだのが「共…

はじめに 非認知能力について検索すると「非認知能力を伸ばす取り組み」や「非認知能力を伸ばすプログラム」を紹介する記事が多数見つかります。そうした記事を読むと、紹介されている取り組みやプログラムをすぐに実践したい気持ちになります。 一方で、非…

はじめに 日々生活していると、自分の「弱さ」を自覚する場面があります。例えば、「本当は勉強した方が良いのに、我慢できずスマホを眺めてしまったな」「ストレスに弱いな」「上司とうまくコミュニケーションをとれないな」などです。 このような「弱さ」…

序文 先日、病院で大腸カメラの検査を受けた。肛門から内視鏡を入れて、大腸を中から隅々まで見る検査である。 本記事では、これから大腸の内視鏡検査を受けることが決まり、恐怖に震えている日本全国の皆さんに向けて、少しの安心感を持ってもらうために私…

はじめに 最近、会議中に「なんかうまくいかないなー」と思うことが増えてきました。時間内に意思決定できずネクストアクションが定まらなかったり、決まったことに対して後から「俺は本当はこう思うんだよね」と言われてしまったりします。そこで会議を進行…

深層学習 改訂第２版 (機械学習プロフェッショナルシリーズ)作者:岡谷貴之講談社Amazon はじめに 系列データ RNNとLSTM RNN RNNの構造 RNNの誤差逆伝播 LSTM LSTMの構造 LSTMの誤差逆伝播 RNNとLSTMの更新式の比較 結論 補足：誤差逆伝播の更新式導出に用い…

はじめに 一般的に機械学習モデルを構築する際には、教師データからモデルが分類ルールを獲得する必要があります。この分類ルールを獲得することは「学習」と呼ばれ、機械学習モデルに含まれるパラメータを調整して損失関数を減少させることで実現します。つ…

深層学習 改訂第２版 (機械学習プロフェッショナルシリーズ)作者:岡谷貴之講談社Amazon はじめに 深層学習では、損失関数の値を小さくするパラメータを見つけることが必要です。このプロセスは「最適化」と呼ばれます。 深層学習における最適化の手法にはさ…

深層学習 改訂第２版 (機械学習プロフェッショナルシリーズ)作者:岡谷貴之講談社Amazon はじめに 深層学習を読んでいます。本記事では、本書のChapter 6 に記載の系列データに用いる深層学習モデル間の関係性、および各モデルの構造図や順伝播の式を紹介しま…

はじめに 過去の記事で、順序回帰の予測量 や がある条件のもとで、下記の(3)式を満たすと書きました（文字の意味は該当の記事をご覧ください）。本記事ではこのことを証明しようと思います。 (1)式が(3)式を満たすための十分条件と証明 (1)式が(3)式を満た…

はじめに 『深層学習』という下記の本を読んでいます。この本を読んで一発で理解できなかったことをまとめています。本記事では、順序回帰についてまとめていきます。 深層学習 改訂第２版 (機械学習プロフェッショナルシリーズ)作者:岡谷貴之講談社Amazon …

はじめに PyTorchのチュートリアルPyTorch60分講座: ニューラルネットワーク入門を勉強しました。本記事では、チュートリアル記載のLeNetがどのように入力画像の次元数を変化させていくのかについてまとめようと思います。 なお、私もチュートリアルを読んで…

はじめに Pythonの浅いコピーと深いコピーについて勉強したのでまとめようと思います。 浅いコピー・深いコピーの定義 Pythonの公式ドキュメントでは、浅いコピーと深いコピーを下記のように定義しています。 浅い (shallow) コピーと深い (deep) コピーの違…

はじめに ↓の過去記事で「PyTorchでは、テンソルが作成されたとき、その要素はメモリ上にraw majorと呼ばれる方式で並びます」と書きました。本記事では、テンソルの要素がraw majorで並んでいることを、各要素のメモリアドレスを見ることで確認します。 ais…

はじめに PyTorchには、テンソルを変形するメソッドとしてtorch.Tensor.viewとtorch.Tensor.reshapeが用意されています。本記事では、メソッドviewとreshapeの違いについてまとめます。 本記事のサマリ viewは要素が順に並んでいるときしか使えない。reshape…

はじめに PyTorchのチュートリアルを勉強しています。本記事では「0. PyTorch入門」の「 7. モデルの保存・読み込み」を学んだ結果をまとめようと思います。 モデルの保存・読み込み方法 PyTorchで作成したモデルの保存・読み込み方法を図１にまとめました。…

はじめに Pythonのf文字列の書式指定でハマったので、記録しておきます。 ハマったこと 下記のコードでprintしたときに、想定と異なる挙動をしました。 print(f"{0.123456789: <010f}") # ->「0.123457」 と表示された 書式指定が<010fなので、左詰め・桁数…

はじめに PyTorchのチュートリアルの「0.PyTorch入門 6.最適化」に、Negative Log Likelihood（以下、NLL）という損失関数が紹介されていました。私はこの損失関数を知らなかったので、調査してみました。その結果、NLLはKullback Leibler距離（以下、KL距離…

はじめに PyTorchのチュートリアルを勉強しています。その中の「0. PyTorch入門 5.自動微分」で分からなかったことがあったので勉強し、まとめてみます。 わからなかったこと 「0. PyTorch入門 5.自動微分」の最後の方に「補注：テンソルに対する勾配とヤコ…

はじめに PyTorchのチュートリアルの「0. PyTorch入門 [4]モデル構築」を勉強しています。この中で、クラスnn.Moduleを継承する箇所があります。このnn.Moduleについて、ソースコードを読んだところ、奇妙なことに気付きました。ディレクトリの構成が図１の…

はじめに 統計学において、分類問題を解く際に目的変数をone hot encodingすることは多々あります。本記事では、PyTorchにおいてカテゴリカル変数をone hot encodingする方法を紹介しようと思います。 フラグが1つの場合 方法１：torch.nn.functional.one_ho…

はじめに Pythonを使っていると、値を複数保持している配列を扱うことが多くあります。この配列について、for文を用いることで要素の値を取り出せるものや、[]にインデックスを与えるだけで要素の値を取り出せるものがあります。この違いを勉強したので、本…

はじめに PyTorchにおいてテンソルを結合するメソッドは２種類あります。catとstackです。本記事ではこれら２種類のメソッドの違いを説明します。 catとstackの違い 結論から書くと、catは次元を増やさずにテンソルを結合します。一方で、stackは次元を増や…

なっとく！ディープラーニング作者:Andrew W.Trask翔泳社Amazon はじめに 現在、画像認識は自動車の自動運転や医療機関での画像診断など幅広い分野で使われています。また、画像認識に深層学習を用いた結果、精度が飛躍的に向上しました。 画像認識で深層学…

「心の病」の脳科学 なぜ生じるのか、どうすれば治るのか (ブルーバックス)作者:林（高木）朗子,加藤忠史講談社Amazon はじめに 私は現在、双極性障害と診断されメンタルクリニックに通っています。病気の治療を効果的に進めるには、患者自身が病気のことを…

〈弱さ〉のちから ホスピタブルな光景 (講談社学術文庫)作者:鷲田清一講談社Amazon はじめに 私はこれまで学校や会社、家庭になじめない人生を送ってきました。周りの人にとって簡単にできることが、自分にとっては難しく感じるのです。 そういった経験の積…

〈弱さ〉のちから ホスピタブルな光景 (講談社学術文庫)作者:鷲田清一講談社Amazon はじめに 私はこれまで学校や会社、家庭になじめない人生を送ってきました。周りの人にとって簡単にできることが、自分にとっては難しく感じるのです。 そういった経験の積…

なっとく！ディープラーニング作者:Andrew W.Trask翔泳社Amazon はじめに 近年、ニューラルネットワークは分類精度の高さや様々なタスクへの応用が可能であることから、幅広い領域で使われています。私の場合、セキュリティ領域でニューラルネットワークを用…

目次 目次 はじめに ドロップアウトの概要 問題設定 過学習を起こすニューラルネットワーク ドロップアウトを入れたニューラルネットワーク まとめ はじめに 近年、ニューラルネットワークは分類精度の高さや、様々なタスクへの応用が可能であることから、幅…