データ分析
調べもののために本屋で本を探していたら、たまたま目についたので立ち読みしたのですが、結構良さげだったので買ってしまいました。データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)作者: 久保拓弥出版…
自分のためのメモ。 主にデータ分析用途でサクッとDataFrameにデータを格納して、いろいろいじりたいときに使う前処理や統計値確認メソッド。 Nullがあるか確認して適当に埋める # df全体にあるnullの数をカウント df.isnull().sum() # 特定のカラムにあるnu…
pandasでDataFrameとしてデータをインポートしてから、とりあえずグラフ化して分布を確認したいことがよくあります。 そのときに個人的によく使うコードをメモ。 細かい設定とかでビジュアル整えようと思ったら、いくらでも設定あるらしいのですが、実際にpy…
数理モデリング入門 ファイブステップ法 最近、業務で本格的にデータ分析ができるようになり、いろいろ勉強しています。 統計学の知識においてもまだまだ抜けているところが多く、実務での経験を積みながらも、包括的な勉強の必要性をヒシヒシと感じている毎…
統計学入門 (基礎統計学)作者: 東京大学教養学部統計学教室出版社/メーカー: 東京大学出版会発売日: 1991/07/09メディア: 単行本購入: 158人 クリック: 3,604回この商品を含むブログ (83件) を見る 統計学入門 - サイバースイッチ こちらの記事でも紹介した…
今更ながらですが、基礎を固めるべく「統計学入門」の教科書をポチり読み始めました。 PRMLとかディープラーニングとか勉強してましたが、統計学をちゃんと知っておくのも必要かと思いまして。 統計学入門 (基礎統計学)作者: 東京大学教養学部統計学教室出版…
データ分析にはパターンがあり、知りたいことや与えられるデータによって、分けられます。 いろいろ学んでいくうちに、各パターンの具体的なイメージはついてくると思いますが、最初に、大枠の全体像についても把握しておくと、学びやすいかもしれません。 …
データの統計分析ができるようになりたいと思い、日々分析コンペに手を出してみたり、本を読んだり、ネットで情報を漁り、勉強している毎日です。 ただ、統計学を体系的に勉強したことがない自分にとって、正直どこから手をつけていいのかがわからず、足元で…
分析する元データをcsvファイルとして取り込む際、pandasのDataFrameをよく使います。大体、下記のような感じでとりあえずcsvファイルをDataFrame型変数に格納し、可視化や成型を行なっていきます。 import pandas as pd df_train = pd.read_csv("___.csv") …
データ分析の勉強方法 データ分析に慣れるために日々色々と情報収集しています。 そんな中で、見つけた記事を紹介します。 自分が最近データ分析に関する情報収集のためによく見ているサイトanalyticsvidhya Analytics Community | Analytics Discussions | …
読書メモ ソーシャル物理学を読んだ。 ソーシャル物理学:「良いアイデアはいかに広がるか」の新しい科学作者: アレックス・ペントランド,矢野和男,小林啓倫出版社/メーカー: 草思社発売日: 2015/09/17メディア: 単行本この商品を含むブログ (2件) を見る タ…
最近人工知能に関するイベントがあり、そこで教わったことをメモしておきます。 ■松尾豊×HONDA ~AIで実現する、人とモビリティの新しい関係~ 松尾豊さんの講演にて、人工知能の現状と、ディープラーニングによるブレイクスルーの本質と、今後の産業への影響…
データドリブンななんちゃら、とか、集合知とか、データ分析とか、機械学習とか、そういえば最近、自分の中で意味や目的がぼんやりしたまま使っている単語が結構多くなってきたことに気付きました。 これはまずい傾向で、はっきりした目的ながないまままわり…
numpyのastypeとdtypeメソッド numpyのメソッドであるastypeとdtypeメソッドについてメモ。 astype astypeは、ndarrayの要素のデータ型を別のデータ型にしたndarrayを生成します。元のndarrayとは別のadarrayが生成されるので、要素を変更しても元のndarray…
Kaggleで使ったりするので、python勉強中。 ちょっとハマり易いところとか、調べた内容をちょくちょくメモしていきます。 日本語をpythonのコード内で使う pythonで日本語をコード内で使おうとすると下記のようなエラーが出ます。 SyntaxError: Non-ASCII ch…
前回、Kaggleのチュートリアルである、タイタニック号の事故での生存者予測モデルを作る課題を、エクセルでやってみた。 spitta8823.hatenablog.com 今回は、下記に従って、pythonを使ってやってみる。 ちなみに、自分はpython2.7をMacにインストールして使…
Kaggleとは Kaggleというサイトをご存知でしょうか？ Kaggleとは、データ分析のコンペに参加したり、勉強するためのサイトで、世界中のデータサイエンティストが参加して分析のアルゴリズムを競っています。参加している人のことをカグラー(Kaggler)と言った…
