Web Analytics

Technically Impossible

Lets look at the weak link in your statement. Anything "Technically Impossible" basically means we haven't figured out how yet.

R

Tibbleの結合、ソート、集計、絞り込み ノルウェー政府年金基金SWFのデータ操作

IT R

4月6日の1%超の下落を記録して以降、日本市場は変動の少ない、凪のような状態が続いている。このような時、できる人たちは次の相場に備えて静かに行動しているのだろう。 ひふみ投信はボクシングで言うところのクリンチと称し、マーケットにしがみつくように…

Rの初歩 - Tidyなやり方 Tidyverse

R IT

TidyverseというRパッケージのコレクションがある。私はこれまで、定番パッケージ群を一度に導入できる便利セット、的に捉えていたのだが、これは大きな誤りで、損失を伴う勘違いだった。ただパッケージを集めただけではなく、その利用の前提となる思想を伴…

PYR103 week 1 固有値、特異値

特定テーマに限定したWikiを立ち上げる必要もなく、ブログの様に私見をまとめる必要もない、 講義の予習ノート 読書ノート メモ などの雑記帳Wikiから移行した投稿。統計クラスの予習ノート。 用語 代数行列 行列の種類 行列式 一次独立、一次従属 行列の階…

PYR103 week 2, 3 主成分分析

特定テーマに限定したWikiを立ち上げる必要もなく、ブログの様に私見をまとめる必要もない、 講義の予習ノート 読書ノート メモ などの雑記帳Wikiから移行した投稿。統計クラスの予習ノート。 用語 主成分分析 特徴 固有値、固有ベクトルとの関係 R

PYR103 week 6, 7 判別分析

特定テーマに限定したWikiを立ち上げる必要もなく、ブログの様に私見をまとめる必要もない、 講義の予習ノート 読書ノート メモ などの雑記帳Wikiから移行した投稿。統計クラスの予習ノート。 判別分析 Python R 復習、参照

PYR103 week 4, 5 ベイズ、ダミー、ロジスティック回帰

特定テーマに限定したWikiを立ち上げる必要もなく、ブログの様に私見をまとめる必要もない、 講義の予習ノート 読書ノート メモ などの雑記帳Wikiから移行した投稿。統計クラスの予習ノート。 用語 回帰 仮説検定 回帰分析モデルの前提 VIF (Variance Inflat…

PYR102 week 9, 10 回帰分析

特定テーマに限定したWikiを立ち上げる必要もなく、ブログの様に私見をまとめる必要もない、 講義の予習ノート 読書ノート メモ などの雑記帳Wikiから移行した投稿。統計クラスの予習ノート。 用語 回帰 最小二乗法の原理 決定係数 仮説検定 切片と回帰係数…

PYR102 week 5, 6 検定

特定テーマに限定したWikiを立ち上げる必要もなく、ブログの様に私見をまとめる必要もない、 講義の予習ノート 読書ノート メモ などの雑記帳Wikiから移行した投稿。統計クラスの予習ノート。 用語 パラメトリックとノンパラメトリック 帰無仮説と対立仮説 …

PYR102 week 7, 8 判別分析

特定テーマに限定したWikiを立ち上げる必要もなく、ブログの様に私見をまとめる必要もない、 講義の予習ノート 読書ノート メモ などの雑記帳Wikiから移行した投稿。統計クラスの予習ノート。 用語 判別分析 参照 R 復習 線形判別分析 Python R、PythonのLDA…

PYR102 week 7, 8 分散分析

特定テーマに限定したWikiを立ち上げる必要もなく、ブログの様に私見をまとめる必要もない、 講義の予習ノート 読書ノート メモ などの雑記帳Wikiから移行した投稿。統計クラスの予習ノート。 用語 ANOVA 一次元配置 データ 分散分析表 数理モデル 二次元配…

PYR103 week 8, 9 クラスター分析

特定テーマに限定したWikiを立ち上げる必要もなく、ブログの様に私見をまとめる必要もない、 講義の予習ノート 読書ノート メモ などの雑記帳Wikiから移行した投稿。統計クラスの予習ノート。 用語 クラスタ分析 クラスタ間の距離 クラスタリング手法 最適な…

RでのiTunesデータの集計、ワードクラウドによる視覚化

新型コロナウイルスの流行により春学期のコースは途中からオンライン対応となり、夏学期、秋学期に希望したコースは、希望者不足のため開講されず、今年の学生活動は非常に物足りないものとなった。春学期の思い出と言えば、データ分析のクラスでの中間提出…

プログラミング言語人気ランキング2020の主成分分析とクラスタリング

日経XTECH、2019年12月号にて「プログラミング言語人気ランキング」という記事が掲載された。技術者440人に対して、主に次の観点でアンケートし、まとめたものだ。 どのプログラミング言語を学びたいか、学びたくないか 業務現場では、どの言語をどのような…

新型コロナウイルス感染と、トイレ後の石鹸手洗いの相関関係

2014年に実施された国際調査の資料を見つけた(資料は、投稿末尾にまとめたサイトからダウンロードできる)。 トイレの後に石鹸を用いて手洗いするか、についての国別統計になっている。この調査のポイントは、手洗いをするかどうかではない。手洗いするとし…

2019年のアクセス集計、分析 アクセス集計から、クラスタ分析によりブログの特徴を探る

2019年も終わりに近づき、空いている時間でブログの年間アクセス集計をしてみようか、という気分になった。Google Analyticsを日々参照し、大体の傾向は掴んでいるのだが、複数の観点から参照することで思いがけない特徴を示すのではないか、同時に昨年から…

数式なしのクラスター分析-Rでの最適なクラスタ数の予測から分析までの手順

IT R

何らかの形でデータを分類しなければならないとしよう。例えばドラクエのようなRPGに登場するモンスターをタイプごとに分類するならば、 HP、MP ゴールド 経験値 つよさ、すばやさ などなど。どのような項目、特徴で分類されるのか、最終的に何種類に分類さ…

GVLMAの紹介-Rでの残差を用いた線形モデルの包括的検査

IT R

回帰分析から線形モデルを生成したならば、満たすべき仮定を検査する必要がある。その仮定とは、 独立性 分散の均一性 誤差の正規性 モデルの線形性 Rを用いるとき、回帰式より生成したlmオブジェクトをプロットすることで、残差と外れ値を視覚的に検証し、…

数式なしの主成分分析ーRでの分析から予測までの手順

R IT

主成分分析と言うデータ分析手法がある。複数の評価項目のあるデータの全体像をつかむ際に、その評価項目の特性を分析して、より小数の新たな評価項目を見出し、データの全体像をより簡単に把握、可視化しようという試みだ。例えば、中学生の成績を評価する…

Rの初歩 - t検定

IT R

平均、分散が不明な母集団の平均を推定する。とはいえ十分大きなサイズの標本を取得することができない。言い換えると、少数のサンプルから得られる情報に基づいて、規模や回数のより大きな母集団の状況を予測する、そのような場合に用いるのがt検定だ。例え…

Rの初歩 - 相関係数、データフレーム内の値を集計する。

IT R

先日に引き続き、相関係数に関する復習。今回は演習問題だけで、復習はない。とはいえ演習問題に対応しながら、次のことが気になった。データフレーム内の値を簡単に集計するには、どうすればよいのか?例えば次のような場合だ。 データフレーム中に顧客の年…

Rの初歩 - 共分散と相関係数

IT R

来月から始まる講座のため、確率・統計と話題に関連するRについての復習。今日は共分散と相関係数。あるデータ群について、その中の一つの値がデータ群の平均からどれほど離れているかを偏差と呼ぶ。全データの偏差を平均すると0になってしまうため、偏差の2…

Rの初歩 - R Notebook

IT R

昨年の今頃は、受講していた確率・統計講座に関連して、よくRを触っていた。来月から新しく関連講座を受講することもあり、Rの勘を取り戻すべく復習を再開した。こういうとき、過去のブログ投稿が役に立つ。読みながら昨年のコードを眺めているだけで、勘所…

Rの初歩 - グラフの描画、重ね合わせ

IT R

確率・統計の復習がてら、Rにも習熟しようと思いたった。このエントリーでは次の話題を取り扱う。 R環境の準備:RとRStudioのインストールする。 ライブラリの導入:Excelの読み込みと、基本的な関数の使用を実現する。 Excelの読み込み操作。 基本的な操作 …

Rの初歩 - 基本操作

IT R

確率・統計の復習がてら、Rにも習熟しようと思いたった。このエントリーでは次の話題を取り扱う。 R環境の準備:RとRStudioのインストールする。 ライブラリの導入:Excelの読み込みと、基本的な関数の使用を実現する。 Excelの読み込み操作。 基本的な操作 …

Rの初歩 - 環境設定

R IT

確率・統計の復習がてら、Rにも習熟しようと思いたった。 このエントリーでは次の話題を取り扱う。 R環境の準備:RとRStudioのインストールする。 ライブラリの導入:Excelの読み込みと、基本的な関数の使用を実現する。 Excelの読み込み操作。 基本的な操作…