数理コンサルタントの備忘録

あなたの悩みを数理で解決する

python

plotlyによる可視化

バブルチャートによる可視化 import plotly.express as px fig = px.scatter(bub_data, x="Reporting_Airline", y="Flights", size="Flights", hover_name="Reporting_Airline", title='Reporting Airline vs Number of Flights', size_max=60) fig.show() …

pythonクラスの備忘録

pythonクラスにおいて、クラス変数とインスタンス変数の違いについて説明する。 まず、以下のようなクラスを定義する。 class ClassVal: x = "ClassVal" class InstanceVal: def __init__(self): self.x = "InstanceVal" cls_Val = ClassVal() ins_Val = Ins…

Regrssion Plots

今回の記事では、散布図とその近似曲線及び領域を描画する。 まず、下記のようなdfを作成する。 df_tot seabornのregplotを用いると、簡単に回帰直線を描ける。 import seaborn as sns plt.figure(figsize=(15, 10)) sns.set(font_scale=1.5) ax = sns.regpl…

matplotlibの基礎知識

matplotlibは次の3層で構成される 1.Scripting Layer pyplot df.plot() 2.Artist Layer ax = df.plot() グラフに表示されるものは全てArtist Artist 3.Backend Layer backend_bases matplotlibの階層構造を簡潔に表した図。 階層構造 この図から読み取れるこ…

python実行系メモ

*処理時間がかかる行を特定する python -m cProfile *notebookをpythonファイル化する jupyter nbconvert --to python hoge.ipynb

Jupyterlabの行数をデフォルトで表示させる

Jupyterlab起動後、Settings→Notebook→User Preferencesで下記を記述。 { "codeCellConfig": { "lineNumbers": true } }

CNNを用いたpython画像処理入門①

今回は、画像認識に有効なCNNを用いた簡単な画像認識タスクをpythonで実施する。 まずはtensorflowで用意されているデータセットのFasion MNISTを読み込む。 import tensorflow as tf fashion_mnist = tf.keras.datasets.fashion_mnist (x_train, y_train), …

pythonでの並列処理

pythonの処理速度が遅い場合、並列処理が有効である。ここでは、実務でも役立つ並列処理のサンプルコードを紹介する。 pythonの標準ライブラリであるmultiprocessingを利用する。 from multiprocessing import Pool # ジョブを送り込めるワーカープロセスの…

python classの書き方例

分析が進むと、python classを記述する必要がある。 compute_KNN_featuresのソースコードを参考にして、KNNのクラス概要をまとめた。 class NearestNeighborsFeats(BaseEstimator, ClassifierMixin): ''' This class should implement KNN features extracti…

Numpy備忘録

仕事ではpandasのデータフレームをよく利用するが、計算速度を向上させるためにはdf.valuesでNumpy配列にして計算させることが多い。 ここでは、numpyの基本的な使い方の備忘録を記録する。(numpy公式ドキュメント) まずはお決まりのimport import numpy as …

Jupyter notebookのリモート操作

リモートでjupyterにアクセスするためのメモを残す. 以下, jupyter notebookはインストールされているものとして進める. 参考サイト:https://qiita.com/Miggy/items/5466a2c1e968602f3ebe notebook_config.pyを編集する際の注意点 「# 以下は追加で記述」は…

pythonの軸を日本語化する手順

意外にハマったので、手順を示す. 基本は以下に従う. 【Seaborn】日本語を表示する (フォントを変更する) - Qiita ポイントは, matplotlibの設定ファイルの場所を探してフォントを追加 import matplotlib as mpl print(mpl.matplotlib_fname()) seabornの設…

pythonで機械学習する環境まとめ

複数のPCにpython環境構築す度にググるの面倒なのでここで備忘録つけます. 環境 macOs Sierra 10.12.6 1. pyenvをインストール インストール pyenvとは, pythonのバージョンを簡単に切り替えられるツールです. gitからインストールする場合は $ git clone gi…

pythonメモ

withステートメント with open("...") as f: print(f.read()) withを抜けると自動的にf.closeされる. クラス 変数や関数が集まったコード・フロックで、ローカルな名前空間が割り当てられ実行される。これに より、オブジェク卜指向プログラミングが可能にな…

係り受け解析

Python + MeCab + CaboCa で言語解析 RCF++のインストール brew install crf++ CaboChaのインストール 公式サイトから最新版をインストールした. バージョン:cabocha-0.69 以下のコマンドをターミナルで叩く ./configure --with-mecab-config=`which mecab-…

twitterから言語解析

twitterの情報からコーパスを作って形態素解析で単語と動詞集めてWord Cloud 作成してみる まずは tweepyライブラリ読み込み import tweepy ツイートの検索 tweetset = tweepy.Cursor(api.search, q=query, count=100, result_type="mixed", include_entitie…

tweepy

API: 自己のソフトウェアを一部公開して、他のソフトウェアと機能を共有できるようにしたものです。ソフトウェアの一部をWEB上に公開することによって、誰でも外部から利用することができるようになります。それによって、自分のソフトウェアに他のソフトウ…

MeCab + python + wordcloud で言語処理

MeCab::Tagger というクラスのインスタンスを生成し, parse (もしくは parseToString) というメソッドを呼ぶことで, 解析結果が文字列として取得できます. MeCab::Tagger のコンストラクタの引数は, 基本的に mecab の実行形式に与えるパラメータと同一で, …

pythonによる機械学習

pythonによる機械学習(P.70~)を下記の本で学習. データサイエンティスト養成読本 [ビッグデータ時代のビジネスを支えるデータ分析力が身につく! ] (Software Design plus) 作者: 佐藤洋行,原田博植,下田倫大,大成弘子,奥野晃裕,中川帝人,橋本武彦,里洋平,和…

jupyter notebook + Anaconda のインストール

データ分析に最適なpython環境の構築ため, Anacondaをインストールした. version: Anaconda3-4.3.1-MacOSX-x86_64.sh Anacondaに合わせてバージョンをpython3に変更. ついでにbrewをアップデートしようとしてコケたので 役に立った管理者権限の再帰的変更の…