なっとく！ディープラーニング作者:Andrew W.Trask翔泳社Amazon はじめに 近年、ニューラルネットワークは分類精度の高さや様々なタスクへの応用が可能であることから、幅広い領域で使われています。私の場合、セキュリティ領域でニューラルネットワークを用…

目次 目次 はじめに ドロップアウトの概要 問題設定 過学習を起こすニューラルネットワーク ドロップアウトを入れたニューラルネットワーク まとめ はじめに 近年、ニューラルネットワークは分類精度の高さや、様々なタスクへの応用が可能であることから、幅…

目次 目次 はじめに 勾配降下法のおさらい 複数層のニューラルネットワーク 誤差逆伝播 一つの成分に対する更新式 全ての成分に対する更新式 コードに落とし込む まとめ はじめに 現在ニューラルネットワークは多くの分野で使われています。私の場合、セキュ…

なっとく！ディープラーニング作者:Andrew W.Trask翔泳社Amazon 目次 目次 はじめに 勾配降下法のおさらい 入力が複数、出力は1つのニューラルネットワーク 入力が1つ、出力が複数のニューラルネットワーク 入力が複数、出力も複数のニューラルネットワーク …

なっとく！ディープラーニング作者:Andrew W.Trask翔泳社Amazon 目次 目次 はじめに 第4章の理解の仕方 勾配降下法の更新式を理解する データが一つの場合の勾配降下法の更新式を、実際に導出する 本書に書かれているコードと照らし合わせる まとめ はじめに…

本記事のサマリ 本記事では、勾配ブースティング木の考え方について説明します。まず、最初に前向き段階的加法的モデリングと呼ばれるアルゴリズムを紹介します。次に、最急降下法と勾配ブースティング木の漸化式の関係性について説明します。最後に、これら…

勾配ブースティングについて勉強している過程で、「統計的機械学習の基礎」の10.9節を読みました。本節は、数式も多く理解に時間がかかりました。再度本節を読んだときに、すっと頭に入ってくるように記事にまとめておきたいと思います。 本記事のサマリ 本…

サマリ 本記事は、分類問題を解くための機械学習手法の一つであるAdaBoostについて解説した記事です。AdaBoostとは、機械学習の手法の中でもブースティングに分類される手法です。 ブースティングとは、次の2段階からなるアルゴリズムです。 前に学習した分…

サマリ sklearn.tree.DecisionTreeClassifierは最初に木を成長させてから、枝刈りをするという手順で決定木を作成する。 木を成長させるときは、不純度が小さくなるような頂点を新たに生成することによって行う。 枝刈りは、「最弱リンク枝刈り」という手法…

区分的多項式を使ったモデルを勉強しています。そこでの発見を書いていきたいと思います。 区分的多項式とはなんぞや？ イメージ 区分的多項式によるモデルとは、複数の一次関数を局所的に用いることで予測精度を上げたモデルです。図1のように、細かく区切…

仕事で位置情報データを扱っています。その際、位置情報の生データから作成された指標（以下、推定量と呼ぶ）が、本当に正しいものなのかを検証することがあります。 本記事では、その検証方法の手順を過去の論文を基にまとめたいと思います。 参考にした論…

記事の内容 Macnaughton Smith et al. （1965）が提案した分割型クラスタリングをPythonで実装しました。本記事では、そのスクリプトを公開します。 分割型クラスタリングとは 分割型クラスタリングの定義を例によってカステラ本から引きます。 分割型クラス…

クラスタリング結果を評価する方法を、過去２回の記事に残してきた。 また、近接性を評価する指標については、過去文献から欲しいものを見つけることができなかったので、自分自身で考えてみた。 今回の記事では、考案した指標で実際のクラスタリング結果を…

前回の記事に引き続き、クラスタリングを評価する指標について考察していきます。 ↓前回の記事 aisinkakura-datascientist.hatenablog.com 今回はクラスタリングにおける「近接性」の概念について深堀し、近接性を評価する指標を提案します。 近接性の概念 …

いくつかの手法を用いてデータをクラスタリングをした際に、各手法を比較したいときがある。 データサイエンティストとして働いていると、事業のオペレーションや解釈のしやすさで手法を選ぶことも多い。それはそれで非常に有用で重要な観点ではあるのだが、…