はじめに 一般的に機械学習モデルを構築する際には、教師データからモデルが分類ルールを獲得する必要があります。この分類ルールを獲得することは「学習」と呼ばれ、機械学習モデルに含まれるパラメータを調整して損失関数を減少させることで実現します。つ…

深層学習 改訂第２版 (機械学習プロフェッショナルシリーズ)作者:岡谷貴之講談社Amazon はじめに 深層学習では、損失関数の値を小さくするパラメータを見つけることが必要です。このプロセスは「最適化」と呼ばれます。 深層学習における最適化の手法にはさ…

深層学習 改訂第２版 (機械学習プロフェッショナルシリーズ)作者:岡谷貴之講談社Amazon はじめに 深層学習を読んでいます。本記事では、本書のChapter 6 に記載の系列データに用いる深層学習モデル間の関係性、および各モデルの構造図や順伝播の式を紹介しま…

はじめに 過去の記事で、順序回帰の予測量 や がある条件のもとで、下記の(3)式を満たすと書きました（文字の意味は該当の記事をご覧ください）。本記事ではこのことを証明しようと思います。 (1)式が(3)式を満たすための十分条件と証明 (1)式が(3)式を満た…

はじめに 『深層学習』という下記の本を読んでいます。この本を読んで一発で理解できなかったことをまとめています。本記事では、順序回帰についてまとめていきます。 深層学習 改訂第２版 (機械学習プロフェッショナルシリーズ)作者:岡谷貴之講談社Amazon …

はじめに PyTorchのチュートリアルPyTorch60分講座: ニューラルネットワーク入門を勉強しました。本記事では、チュートリアル記載のLeNetがどのように入力画像の次元数を変化させていくのかについてまとめようと思います。 なお、私もチュートリアルを読んで…

はじめに PyTorchのチュートリアルの「0.PyTorch入門 6.最適化」に、Negative Log Likelihood（以下、NLL）という損失関数が紹介されていました。私はこの損失関数を知らなかったので、調査してみました。その結果、NLLはKullback Leibler距離（以下、KL距離…

なっとく！ディープラーニング作者:Andrew W.Trask翔泳社Amazon はじめに 現在、画像認識は自動車の自動運転や医療機関での画像診断など幅広い分野で使われています。また、画像認識に深層学習を用いた結果、精度が飛躍的に向上しました。 画像認識で深層学…

なっとく！ディープラーニング作者:Andrew W.Trask翔泳社Amazon はじめに 近年、ニューラルネットワークは分類精度の高さや様々なタスクへの応用が可能であることから、幅広い領域で使われています。私の場合、セキュリティ領域でニューラルネットワークを用…

目次 目次 はじめに ドロップアウトの概要 問題設定 過学習を起こすニューラルネットワーク ドロップアウトを入れたニューラルネットワーク まとめ はじめに 近年、ニューラルネットワークは分類精度の高さや、様々なタスクへの応用が可能であることから、幅…

目次 目次 はじめに 勾配降下法のおさらい 複数層のニューラルネットワーク 誤差逆伝播 一つの成分に対する更新式 全ての成分に対する更新式 コードに落とし込む まとめ はじめに 現在ニューラルネットワークは多くの分野で使われています。私の場合、セキュ…

なっとく！ディープラーニング作者:Andrew W.Trask翔泳社Amazon 目次 目次 はじめに 勾配降下法のおさらい 入力が複数、出力は1つのニューラルネットワーク 入力が1つ、出力が複数のニューラルネットワーク 入力が複数、出力も複数のニューラルネットワーク …

なっとく！ディープラーニング作者:Andrew W.Trask翔泳社Amazon 目次 目次 はじめに 第4章の理解の仕方 勾配降下法の更新式を理解する データが一つの場合の勾配降下法の更新式を、実際に導出する 本書に書かれているコードと照らし合わせる まとめ はじめに…

本記事のサマリ 本記事では、勾配ブースティング木の考え方について説明します。まず、最初に前向き段階的加法的モデリングと呼ばれるアルゴリズムを紹介します。次に、最急降下法と勾配ブースティング木の漸化式の関係性について説明します。最後に、これら…

勾配ブースティングについて勉強している過程で、「統計的機械学習の基礎」の10.9節を読みました。本節は、数式も多く理解に時間がかかりました。再度本節を読んだときに、すっと頭に入ってくるように記事にまとめておきたいと思います。 本記事のサマリ 本…

サマリ 本記事は、分類問題を解くための機械学習手法の一つであるAdaBoostについて解説した記事です。AdaBoostとは、機械学習の手法の中でもブースティングに分類される手法です。 ブースティングとは、次の2段階からなるアルゴリズムです。 前に学習した分…

サマリ sklearn.tree.DecisionTreeClassifierは最初に木を成長させてから、枝刈りをするという手順で決定木を作成する。 木を成長させるときは、不純度が小さくなるような頂点を新たに生成することによって行う。 枝刈りは、「最弱リンク枝刈り」という手法…

区分的多項式を使ったモデルを勉強しています。そこでの発見を書いていきたいと思います。 区分的多項式とはなんぞや？ イメージ 区分的多項式によるモデルとは、複数の一次関数を局所的に用いることで予測精度を上げたモデルです。図1のように、細かく区切…

仕事で位置情報データを扱っています。その際、位置情報の生データから作成された指標（以下、推定量と呼ぶ）が、本当に正しいものなのかを検証することがあります。 本記事では、その検証方法の手順を過去の論文を基にまとめたいと思います。 参考にした論…

記事の内容 Macnaughton Smith et al. （1965）が提案した分割型クラスタリングをPythonで実装しました。本記事では、そのスクリプトを公開します。 分割型クラスタリングとは 分割型クラスタリングの定義を例によってカステラ本から引きます。 分割型クラス…

クラスタリング結果を評価する方法を、過去２回の記事に残してきた。 また、近接性を評価する指標については、過去文献から欲しいものを見つけることができなかったので、自分自身で考えてみた。 今回の記事では、考案した指標で実際のクラスタリング結果を…

前回の記事に引き続き、クラスタリングを評価する指標について考察していきます。 ↓前回の記事 aisinkakura-datascientist.hatenablog.com 今回はクラスタリングにおける「近接性」の概念について深堀し、近接性を評価する指標を提案します。 近接性の概念 …

いくつかの手法を用いてデータをクラスタリングをした際に、各手法を比較したいときがある。 データサイエンティストとして働いていると、事業のオペレーションや解釈のしやすさで手法を選ぶことも多い。それはそれで非常に有用で重要な観点ではあるのだが、…