2021年6月16日水曜日

都道府県の統計を使って色々してみた

統計ダッシュボードさんからダウンロードした47都道府県の色々なデータを使ってやってみました。
*47都道府県を47個のデータとして扱いました。
①統計で占う!↓です!!
http://riepnyo-homepage.babyblue.jp/tokeikankei.html
*重回帰分析を使って、目的変数、例えば「実収入」を説明変数、例えば「実収入」「温水洗浄暖房便座」「ボランティア活動行動者率」などを使って予想します。
*説明変数の数値を変化させて「計算実行」してみると「実収入」が上がったり下がったりします。
*自分の行動によって「実収入」がどれくらい変化するのかを占えます。
*目的変数には
実収入▼
1日一人当たりのごみ排出量▼
健康寿命(女)▼
健康寿命(男)▼
外来患者延数(精神科病院)▼
1人当たり最終エネルギー消費量▼
献血者数▼
可処分所得(二人以上の世帯のうち勤労者世帯)(全国消費実態調査)▼
学習・自己啓発・訓練行動者率(10歳以上)▼
覚せい剤取締検挙件数▼
が選べます。


②都道府県の統計を予想する

*グラフを見て最新の年の値を0~1で予測し、「重回帰分析」の予測とどっちが近いかを競います!!
*掛け点と倍率を自分で設定できるので自信のある予想では多く掛けたり調節して、「重回帰分析」予想に勝利してみてください!!
*自分の持ち点10点を使って「重回帰分析」の予想を見ることができます。
*実際の統計データを使っているので多少勉強(?)にもなるかなと。








③地方自治財政を推定
・地方自治財政の最新の年の「歳出」を変更して翌年の「歳入アップ率」「実質収支比率」「財政力指数」「自主財源額」「経常収支比率」「地方債現在高」の6項目の ランキングですべて1位を取れたら成功です。
・1976年から2017年までです。
・「▼歳出」のグラフで変更したい項目をクリックするとスライダーがでるのでそれを動かして歳出を決めてください。
・「元に戻す」で変更を戻せます
・「推測する!」で変更に基づいた次の年の項目を推測して表示します。
・「実際の次の年」は変更は無視された実際の年のデータを表示します。
・初めからする場合は好きな都道府県を選んで「はじめから」を押してください。何も選ばなければランダムで選ばれます。
*地方自治で変化させられるものといえば歳出の配分ぐらいかなと思って作りました。
*税収の多い自治体と少ない自治体は何が違うのか?とかどうすれば地方と都市の格差がなくせるのか?そもそもなくさなくてもいいのか?とか考えながらやったらおもしろいかなと思いました。



④「稼ぐ力」を産業別にみる!
*一次産業「農業」、二次産業「製造業」、三次産業「サービス業」と分けますが、これらの「稼ぐ力」にどのような相関があるのか?と思って作りました。

*結果は一次産業と三次産業は稼ぐ力に逆の相関があり、二次産業はそれらに無関係であると言えました。つまり、農業の稼ぐ力が大きい都道府県ではサービス業で稼ぐ力が小さいということで、製造業はそれに関係がないということです。

*農業、製造業、サービス業といっても細かく分けられるので、製造業はプラスチック製品製造業とか、サービス業では飲食店、不動産取引業とか、細かい項目も一気に因子分析すると、相関が近い項目がグループになって、林業が一次産業に近いのだなとか、行楽行動者率が製造業に近いのだなとか面白いのでやってみました。






⑤自由に選んだ項目を因子分析する!
④の項目を自分で選びたいなということで作りました。

*因子分析は相関が近いものをグループにして、グループどうしがどのような関係にあるか?がわかるから面白いので、自分で項目を選べて、勝手に相関が近いやつを選んでくれてグループにしてくれて、項目がどこのグループに入っててどんな関係か?がわかれば面白いなということで作りました。

*四次産業とは何か?がわかりました。











⑥行動を変化させ生活のランキングを上げる!
*各都道府県を個人と見立てて1979年から2017年まで行動して過ごして他のプレーヤー(自動計算)と得点を競います。
*変更できる行動は「支出」と「活動時間」だけです。
*得点は「収入・負債・貯蓄」や「所有物」「旅行」「病気」「労働時間」「家事・民事事件」で競います。
*はじめにどの都道府県を選ぶか?でも結構決まります。
*都市(東京とか、大阪とか)からはじめるのがいい部分もあれば悪い部分もありますので、なかなか面白いです。
*自分は収入さえよければいい!と思えるなら都市部スタートでいいと思いますが、総合得点のランキング1位を目指すにはどうでしょう?








⑦自分に合う都道府県を探す
*結局自分に合う都道府県ってどこなの?と思ってそれを統計から探せるようにしました。

*大きいほうがいい項目(例えば実収入)と小さいほうがいい項目(例えば犯罪)とを選んで「実行」するとランキングの和が小さい県を探します。凶悪犯検挙件数2016は1位が鳥取県2位が富山県・・・・とかがわかります。

*ちなみに自分は自分の都道府県があってました!!





⑧2016年付近の項目の相関係数を求める
*どの項目がどの項目とどれくらいの相関係数で相関があるかを知りたい場合に使えます。
*2016年付近の47都道府県の値どうしで相関をとっています。
*相関係数が1に近いほど相関があり、0に近いほど相関がありません。-1は逆の相関があります。
*相関係数が大きい順にすべて表示しています。
*文字列検索にたとえば「人口」といれると、「人口」を含む項目だけが表示されます。(「15歳以上人口」「総人口」・・・など)



⑨重回帰式を使って温室効果ガスと平均気温の原因をグラフで感じる

・重回帰分析で 「温室効果ガス」を目的変数にして、その他適当に選んだ31項目を説明変数にして重回帰分析すれば、どの項目をどれくらい増減させれば「温室効果ガス」が減らせるのか?が 直観的に理解できると思いました。
・ついでに、「1項目の目的変数その他31項目の説明変数」の重回帰式を32項目すべてで求めて、説明変数の項目を増減させたとき目的変数の項目がどう変化するかを グラフで見えるようにしました。
・標準偏回帰係数が大きいほど目的変数に大きい影響があるということで、0に近いほどあまり影響がないということです。
*例えば、ごみ総排出量を50から60に増やしたとき
右図のように都市ガス販売量が63になって実収入が32になるというようにどんな変化が起こるかを直観できます。「温室効果ガス」は43と減少していて、これは一見正しいのかな?と疑問に思いますが、温室効果ガスのグラフの棒をクリックして「標準偏回帰係数」をクリックしてみてみると「-0.6838223775835431:司法・安全・環境/ごみ総排出量(総量)」なので、ごみ総排出量は負の影響を与える→温室効果ガスを減少させることになります。この結果は直観に反しているように見えますし、重回帰分析の際は互いに相関が小さい項目を選ぶべしとあるので、互いに相関が大きい項目を選んでいるかもしれませんが、温室効果ガスを目的変数とした重回帰式の決定係数が「0.94875146:決定係数(1に近いほど、回帰式が実際のデータに当てはまっている)」なのでこの回帰式の正しさは十分と考えられます。
*各都道府県と年を指定してはじめの値をクリックすると、その年のその県の各項目偏差値(平均を50、標準偏差を10としたもの)がわかります。それを変化させてみることもできます。
*「▼課題を見てみる」に具体的に目安を設定しました。温室効果ガスやごみ処理量や平均気温を増やさず、収入や賃金を上げることができるか?を試してみてクリアしてみてください。自分でやってみるとどう行動すべきかがちょっとわかったような気がします。

2021年6月13日日曜日

語句の特徴を使って色々してみた

 <語句の特徴>とは、テンソルフローのword2vec を使って取得した語句のembeddingsのことで、[1,128]のベクトル。

・これがわかれば語句どうしの近さや遠さがわかるので、文章の特徴も現わせるのではないかと考えた。

・文章の特徴がわかれば作品の特徴や作者の特徴もわかるのではないかと考えた。

・作品の特徴がわかれば似ている作品を探すのに便利だなと。

・語句の特徴の配列から続く語句を予想できれば続きの文をつくれるかなと。

<やったこと>

①テキストボックスに入力した文章から文豪を判定する。

「文豪判定」のリンクです↓。

http://riepnyo-homepage.babyblue.jp/bungohantei.html

・こんな感じのページです→

・自分で好きな事を書いて、それがある文豪の書くことと似てると、この人と考え方が似てるのかなと親近感がわきます!





②テキストボックスに入力した文章に題名を付ける。

「自動で作品に題名を付けてみる」のリンクです↓。

http://riepnyo-homepage.babyblue.jp/daimeituke.html


・こんな感じのページです→


・題名を付けると自分の文章が結局何が言いたかったのかが明らかになります!



③テキストボックスに入力した文章に似た作品を探す。

*似た作品を探せるリンクです↓↓。

「自動で作品に題名を付けてみる」で、’好きな作品として登録!’して’文豪作品から好きな作品の上位ゲット’をすると似た作品を探せます↓。

http://riepnyo-homepage.babyblue.jp/daimeituke.html

・こんな感じのページです→

・好きな作品として登録すると、書いた文の特徴が、つけた題名で登録され、リストが増えていき、その平均の特徴ににた文豪作品を探します。

・リストは2つ以上登録した場合、その題名をクリックすると消せます。

「メンタルヘルス判定」でも’メンタルヘルス判定’!すると似た作品を探せます↓。

http://riepnyo-homepage.babyblue.jp/mentalfol/mental.html

④テキストボックスに入力した文章からメンタルヘルスのチェックリストの近さを判定

「メンタルヘルス判定」のリンクです↓。

http://riepnyo-homepage.babyblue.jp/mentalfol/mental.html

・こんな感じのページです→

・書いた文(コピペでもOK)を、メンタルヘルスのチェックリストに最も近いメンタル状態に色分けします。

・書いた文に近い特徴の作品を探して下に表示します。

・青空文庫にある作品なのですぐ読めます!

・自分のメンタルが今どんな状態かな?と気軽に知りたいときに参考ぐらいにはなります。


⑤テキストボックスに入力した文章の続きを予測して夏目漱石の作品から続きの文を抜き出す。

「小説の続きをつくりませう」のリンクです↓。

http://riepnyo-homepage.babyblue.jp/natumetuduki.html

・こんな感じのページです→

・入力された文章に似た部分を夏目漱石作品から探して続きを表示します。

・「。」で終わるまでを1文として8文から次の1文を予想します。