初心者データサイエンティストの備忘録

調べたことは全部ここに書いて自分の辞書を作る

色々な勾配降下法

なっとく!ディープラーニング作者:Andrew W.Trask翔泳社Amazon はじめに 近年、ニューラルネットワークは分類精度の高さや様々なタスクへの応用が可能であることから、幅広い領域で使われています。私の場合、セキュリティ領域でニューラルネットワークを用…

ニューラルネットワークのドロップアウト

目次 目次 はじめに ドロップアウトの概要 問題設定 過学習を起こすニューラルネットワーク ドロップアウトを入れたニューラルネットワーク まとめ はじめに 近年、ニューラルネットワークは分類精度の高さや、様々なタスクへの応用が可能であることから、幅…

「ハンチバック」と「普通になりたいという気持ち」

ハンチバック (文春e-book)作者:市川 沙央文藝春秋Amazon はじめに 芥川賞を受賞した「ハンチバック」を読みました。本作は、先天性ミオパチーという病気に罹患している作者、市川沙央さんによって書かれた本です。主人公も同じ病気に罹患しており、小説では…

git pushしたときに403エラーが出たときの対処法

はじめに 先日GitHubのリモートリポジトリにgit pushしようとしたら、ユーザー名とパスワードを求められました。その上、正しいと思われるユーザー名とパスワードを入力したにも関わらず、 The requested URL returned error: 403 というエラーが出ました。 …

【読書記録】なっとく!ディープラーニング_第6章

目次 目次 はじめに 勾配降下法のおさらい 複数層のニューラルネットワーク 誤差逆伝播 一つの成分に対する更新式 全ての成分に対する更新式 コードに落とし込む まとめ はじめに 現在ニューラルネットワークは多くの分野で使われています。私の場合、セキュ…

【読書記録】なっとく!ディープラーニング_第5章

なっとく!ディープラーニング作者:Andrew W.Trask翔泳社Amazon 目次 目次 はじめに 勾配降下法のおさらい 入力が複数、出力は1つのニューラルネットワーク 入力が1つ、出力が複数のニューラルネットワーク 入力が複数、出力も複数のニューラルネットワーク …

【読書記録】なっとく!ディープラーニング_第4章

なっとく!ディープラーニング作者:Andrew W.Trask翔泳社Amazon 目次 目次 はじめに 第4章の理解の仕方 勾配降下法の更新式を理解する データが一つの場合の勾配降下法の更新式を、実際に導出する 本書に書かれているコードと照らし合わせる まとめ はじめに…

pcapファイルの構造:実際にバイト列を確認してみた

目次 目次 はじめに pcapファイルの構造 pcapファイルの中身を見てみた pcapファイルの作成 バイト列を直接観測する バイト列の解釈 File Headerの中身 Packet Headerの中身 Packet Dataの中身 まとめ はじめに パケットデータを保存するファイルの一つに、p…

【読書記録】極楽征夷大将軍

極楽征夷大将軍 (文春e-book)作者:垣根 涼介文藝春秋Amazon 直木賞を取ったという完全にミーハーな理由で『極楽征夷大将軍』を読んだ。感想文を書こうと思う。 まず、長さに怯んだ。二段組で550ページ。この長さの本を読むのは久しぶりだった。しかも、読も…

【読書記録】新 企業の研究者をめざす皆さんへ

新 企業の研究者をめざす皆さんへ作者:丸山 宏近代科学社Amazon 目次 目次 はじめに 感想 本書を通じて私はどんな実践をするか まとめ 参考文献 おまけ はじめに 私事ですが、今年(2023年)の4月にコンサル部門から研究部門に異動になりました。その結果、…

【読書記録】世界のエリートがやっている最高の休息法

目次 目次 はじめに 感想 本書を通じて私はどんな実践をするか まとめ 参考文献 はじめに 突然ですが、みなさんは元気いっぱいに働いたり、遊んだりできていますか?私はできていないことが多いです。また、会社でも「やる気が出ない」「慢性的に疲れている…

【読書記録】数学文章作法

目次 目次 はじめに 感想 本書を通じて私はどんな実践をするか まとめ 参考文献 はじめに みなさん、文章を書くことは得意でしょうか?私は苦手です。数式やコードが混じった文章を書くことは、特に苦手です。しかし、データサイエンティストという仕事柄、…

Prophetインストール手順(2023年6月20日現在の情報)

サマリ 「Pythonで時系列解析用パッケージProphetを使いたいが、なぜかインストールできない」という方はいらっしゃいませんか?私がそうでした。本記事では、私がProphetをインストールしたときの手順を書きます。何かの一助になれば幸いです。 Windows上に…

『夢をかなえるゾウ0』感想

夢をかなえるゾウ0(ゼロ) ガネーシャと夢を食べるバク作者:水野敬也文響社Amazon 目次 目次 はじめに 対象読者 感想 今後どんなことに取り組んでいくのか 参考文献 はじめに 先日、塾講師をしていたときの教え子から「人生お先真っ暗だ」という悩みを聞き…

勾配ブースティング木を深く理解する~実装編~

本記事のサマリ 勾配ブースティング木をPythonでスクラッチ実装しました。本記事では、スクラッチ実装したコードとそれを実行した結果について書いていこうと思います。なお、勾配ブースティング木の理論については、下記の記事に書いたので興味がある方はご…

勾配ブースティング木を深く理解する~理論編~

本記事のサマリ 本記事では、勾配ブースティング木の考え方について説明します。まず、最初に前向き段階的加法的モデリングと呼ばれるアルゴリズムを紹介します。次に、最急降下法と勾配ブースティング木の漸化式の関係性について説明します。最後に、これら…

統計的機械学習の基礎10.9節まとめ

勾配ブースティングについて勉強している過程で、「統計的機械学習の基礎」の10.9節を読みました。本節は、数式も多く理解に時間がかかりました。再度本節を読んだときに、すっと頭に入ってくるように記事にまとめておきたいと思います。 本記事のサマリ 本…

AdaBoostを深く理解する~スクラッチ実装のリファクタリング~

サマリ 前回記事(下記)では、AdaBoostをスクラッチ実装したスクリプトを提示しました。本記事では前回記事で作成したスクリプトを、再利用性や可読性が高まるようにリファクタリングした結果を提示します。 aisinkakura-datascientist.hatenablog.com 具体…

AdaBoostを深く理解する~スクラッチ実装~

サマリ AdaBoostについて勉強しています。本記事では、AdaBoostを実装する際に躓いたポイントを備忘録的に残しておこうと思います。本記事のサマリは下記です。 二値分類問題用のトイデータを作成した。 スクラッチ実装したAdaBoostを使い、上記のトイデータ…

AdaBoostを深く理解する~AdaBoostと同値的なアルゴリズム~

サマリ 過去の記事で、AdaBoostのアルゴリズムをざっくり説明しました。 aisinkakura-datascientist.hatenablog.com 本記事は、下記のトピックについて書いていこうと思います。 AdaBoostは前向き段階的加法的モデリングを用いて、指数損失の最小化問題を解…

AdaBoostを深く理解する~アルゴリズムの内容理解~

サマリ 本記事は、分類問題を解くための機械学習手法の一つであるAdaBoostについて解説した記事です。AdaBoostとは、機械学習の手法の中でもブースティングに分類される手法です。 ブースティングとは、次の2段階からなるアルゴリズムです。 前に学習した分…

【映画】「エヴァンゲリオン」と「人魚の眠る家」を見た感想

【本記事はネタバレを含みます】 今更ですが、「エヴァンゲリオン」シリーズと「人魚の眠る家」を最近見ました。狙ってこの2本の映画を連続して見たわけではありませんが、たまたま連続して見たことで、2本の映画間で共通するテーマを私は感じることができま…

sklearn.tree.DecisionTreeClassifierのccp_alphaについて

サマリ sklearn.tree.DecisionTreeClassifierは最初に木を成長させてから、枝刈りをするという手順で決定木を作成する。 木を成長させるときは、不純度が小さくなるような頂点を新たに生成することによって行う。 枝刈りは、「最弱リンク枝刈り」という手法…

区分的多項式を使った統計モデル

区分的多項式を使ったモデルを勉強しています。そこでの発見を書いていきたいと思います。 区分的多項式とはなんぞや? イメージ 区分的多項式によるモデルとは、複数の一次関数を局所的に用いることで予測精度を上げたモデルです。図1のように、細かく区切…

AppGoatの紹介

2022年12月にセキュリティの勉強を始めてから、一つ感じていたことがあります。 セキュリティの基本がわかっていないから、本や論文を読んでも理解に時間がかかる セキュリティの本を読んでもイマイチ、イメージが湧かない これらの課題を感じていたところ、…

メールヘッダ・インジェクションとオープンリダイレクトの脆弱性

本記事は、メールヘッダ・インジェクションとオープンリダイレクトの脆弱性についてまとめています。なお、私はセキュリティに関してはずぶの素人で本記事にも誤りが含まれているかもしれません。その際はコメントでご指摘いただけると幸いです。 メールヘッ…

バッファ・オーバーフローとクリックジャッキング

バッファ・オーバーフローとクリックジャッキングについて勉強しました。本記事はこれらの攻撃についてまとめています。なお、私はセキュリティに関してはずぶの素人で本記事にも誤りが含まれているかもしれません。その際はコメントでご指摘いただけると幸…

認証・認可の不備とHTTPヘッダ・インジェクション

認証・認可の不備とHTTPヘッダ・インジェクションについて勉強しました。本記事はこれらの攻撃についてまとめています。なお、私はセキュリティに関してはずぶの素人で本記事にも誤りが含まれているかもしれません。その際はコメントでご指摘いただけると幸…

OSコマンド・インジェクションとセッション・ハイジャック

OSコマンド・インジェクションとセッション・ハイジャックについて勉強しました。本記事はこれらの攻撃についてまとめています。なお、私はセキュリティに関してはずぶの素人で本記事にも誤りが含まれているかもしれません。その際はコメントでご指摘いただ…

クロスサイト・リクエスト・フォージェリとディレクトリ・トラバーサル

クロスサイト・リクエスト・フォージェリとディレクトリ・トラバーサルについて勉強しました。本記事はこれらの攻撃についてまとめています。なお、私はセキュリティに関してはずぶの素人で本記事にも誤りが含まれているかもしれません。その際はコメントで…