機械学習をやってみる話

#データ読み込み
df_info = pd.read_csv("accomodation_info.csv", index_col=0, parse_dates=[0])

#毎月の利用回数を特徴ベクトルとする。
x_0 = df_info.resample("M").count()#月別利用回数
x_0 = x_0.drop(x_0.columns.values, axis=1)#カラムの列を全て消去(つまりインデックスだけになる)

#順位の決定
i_rank = 1
j_rank = 2

#顧客IDの抽出
i_id = df_info[“顧客ID”].value_counts().index[i_rank]#１位のID
j_id = df_info[“顧客ID”].value_counts().index[j_rank]#2位のID

#月ごとの利用回数を特徴量として算出
x_i = df_info[df_info[“顧客ID”]==i_id].resample(“M”).count()
x_j = df_info[df_info[“顧客ID”]==j_id].resample(“M”).count()
#欠損値があった場合の穴埋め→0の月があったときにって感じ
x_i = pd.concat([x_0,x_i],axis=1).fillna(0) #X_0とX_1を連結　axis=0で縦方向、1で横方向 fillnaでNaNに0を入れる。
x_j = pd.concat([x_0,x_j],axis=1).fillna(0)

#類似度計算
dx = x_i.iloc[:,0].values - x_j.iloc[:,0].values #0列目を抽出して引く(0列目以降も値は同じだけどね)
#ノルム計算
n = np.linalg.norm(dx) #ノルム計算のデフォルトはL2ノルム
#次元による正規化
num_dim = len(x_i)
d = n/num_dim

#特徴ベクトルを主成分ベクトルに変換
transformed = pca.fit_transform(features)

from sklearn.cluster import KMeans

#k-means法
#クラスター数の決定
num_of_cluster = 4
#クラスタリング
model = KMeans(n_clusters=num_of_cluster, random_state=0,)
model.fit(features)
pred_class = model.labels_

#分析したいクラスターを決定
target_class = 1
#目的変数の決定
num = len(pred_class)
#クラスター1以外は0の行列作成
data_o = np.zeros(num)
for i in range (num):
    if pred_class[i]==target_class:
        data_o[i] = True
    else:
        data_o[i] = False

#説明変数の決定
data_e = features


#決定木モデルの構築
clf = DecisionTreeClassifier(max_depth=2)
#max_depthを上げるとより細かく分類できるので、スコアも上がる
clf = clf.fit(data_e, data_o)

# indexの抽出
x_0 = df_info.resample('M').count()
x_0 = x_0.drop(x_0.columns.values,axis=1)
time_index = x_0.index

#注意！dtreevizのバージョンを1.4.1にすること！
#graphvizのPATHを通す
import os
os.environ["PATH"] += os.pathsep + '/opt/homebrew/bin'
from dtreeviz.trees import dtreeviz

# 決定木を描画
m = dtreeviz(clf,
    data_e,
    data_o,
    target_name='Class',
    feature_names=time_index,
    class_names=['False','True'],)
m.view()

from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(features,data_o)　#いつもの。
#決定木モデルの構築
clf = DecisionTreeClassifier(max_depth=2)
clf = clf.fit(x_train,y_train)

pred_tree = clf.predict(x_test)
#スコアと混同行列
score = clf.score(x_test, y_test)　#何％合ってるか
cm = confusion_matrix(y_test, pred_tree)　＃混同行列([TP,FN],[FP,TN])
print(score,cm)

#ランダムフォレスト
from sklearn.ensemble import RandomForestClassifier
RFC_model = RandomForestClassifier(bootstrap=True, n_estimators=10, max_depth=None, random_state=1)
clf = RFC_model.fit(x_train,y_train)

# 特徴量の重要度を出力
importances = clf.feature_importances_

# 特徴量の重要度をグラフに出力
n_features = len(time_index)
plt.figure(figsize=(12, 8))
plt.barh(range(n_features), importances , align='center')
plt.yticks(np.arange(n_features), time_index)
plt.show()

#SVM
from sklearn.svm import SVC
svm_model = SVC(kernel="rbf")
clf = svm_model.fit(x_train, y_train)

data_target = data_e[data_o==1]
data_y = data_target
data_x = np.stack([np.arange(0,len(data_target[0])) for _ in range(len(data_target))], axis=0)　#[0〜データ個数]の行列をデータ個数分作って行列化
#多次元配列を一次元配列に
data_y = np.ravel(data_y)
data_x = np.ravel(data_x)
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(data_x,data_y)
#SVM回帰
from sklearn.svm import SVR
svm_model = SVR(kernel="rbf", C=1)#Cは正規化の強度
reg = svm_model.fit(x_train.reshape(-1,1),y_train.reshape(-1,1))

#予測曲線
x_pred = np.arange(len(data_target[0])).reshape(-1,1)
y_pred = svm_model.predict(x_pred)
plt.plot(data_x,data_y, "k.")
plt.plot(x_pred,y_pred, "r.-")
plt.show()

reg.score(x_test.reshape(-1,1), y_test.reshape(-1,1))