Mike's Learn & Fun

上大神的課總是可以學到很多神秘的招數XD 又學了一招 "選取同欄位的不同資料"

最近學習　Hahow 的課程: Python 機器學習與資料科學入門學得太起勁， 累積了參考資料一大堆分頁，記憶體都要不夠啦！ 所以列表如下，之後找資料庫比較方便： Kaggle:  https://www.kaggle.com/datasets Scikit-Learn:  http://scikit-learn.org/stable/ 政府開放資料平台:  https://data.gov.tw/

最近 hahow 通知 Python 資料分析&機械學習入門 開課了！ 所以無所事事的無職男決定重拾一下寫 code 的樂趣 前面都順順的講解一下各式大神/關鍵字/資料庫來源/參考來源等等。 說真的光是這些東西就真的很值得。 只要知道關鍵字，就算是神我也肉搜給你看 -by me 在重複看了一次的 jupyter notebook 與 pandas 簡單教學之後， 開始正式處理資料分析： 鳶尾花 Iris 的分析。 意外的簡單地抓取資料來結合，然後其中一行就吸引到我了： y1 = pd.DataFrame(pd.Series(iris['target']).map(dict(enumerate(iris['target_names']))),columns= ["target_names"])

因為同事的需求，無職 a 我就又再度幫忙同事寫一些小程式。 這些小程式雖然簡單，但是聽到如果不幫忙寫程式解決，以手工作業的"大量人天" 的後果真的是讓人吐血。 他們有一份工作，需要產出一份很多很多很多資料圖片的判釋報告，要把數百張圖片剪裁成特定大小，加上圖說之後放入 word 裡面。 聽到的做法是...一張一張插圖!! wooow! That's really shocking me! 所以為了前公司同事的幸福，我還是加減寫一下好了。

朋友 pass 一份資料給我，希望可以幫忙處理掉 missing data ，將遺失的時間找出來，同時用內插補足遺失時間的座標。 資料長相： Sec, North, East, Height 94184, 167433.988, 2529517.036, 19.623 94185, 167434.573, 2529516.984, 19.678 94186, 167433.788, 2529516.993, 19.598 94187, 167433.804, 2529516.966, 19.606 94189, 167433.852, 2529516.910, 19.604 94190, 167433.872, 2529516.882, 19.602 94194, 167433.919, 2529516.825, 19.602 ...  你可以看到其中 94188s, 94191s~94193s 的資料是遺失的，就是要補足這些資料。 原本以為是個簡單的問題，結果一弄弄了兩天解不出來，真的是氣死我了， 還去查了 time format, pandas intersect...結果 try 了半天都得不到理想結果， 只好半放棄地去問 stackoverflow( 連結在此 )，結果立馬有大神回覆，而且還是秒解！太神啦！

今天朋友問我說怎麼用 Python 做出一階的趨勢線還有公式，解決之後覺得為了提醒自己，順便用網誌來備份一下 code，圖大概長這樣： code 如下: #-*-coding: utf-8-*- import numpy as np import matplotlib.pyplot as plt #from sklearn.metrics import r2_score #計算相關係數用，這裡沒有用到 dataX = np.arange(100) #產出 [0,1,2....99] dataY = np.random.randint(5,100, size=100) #產出 100 個 5~100 的隨機整數 def reg(x,y): coefficients = np.polyfit(x,y,1) # 利用 polyfit 幫我們算出資料 一階擬合的 a, b 參數 p = np.poly1d(coefficients) # 做出公式, print 的結果是 coefficients[0] * X + coefficients[1] #coefficient_of_dermination = r2_score(y, p(x)) // 計算相關係數用，這裡沒有用到 return coefficients, p (arg1, arg2), text1 = reg(dataX,dataY) #arg1, arg2 用來承接 coefficients[0], coefficients[1], text1 承接 p trend_line = dataX *arg1 + arg2 #做出趨勢線矩陣 plt.plot(dataX,dataY) #放上資料圖 plt.plot(trend_line) #放上趨勢線圖 plt.text(50, 10, text1, fontsize=14) #放上趨勢線公式 plt.show() #出圖

最近跑完 TCN 創客松後深感自己的不足，覺得不要再 Arduino 了，來重回 Python 的懷抱XD，複習了 Django 的書，順便列一下書裡面常見的套件，覺得之後會用到XD 網站框架 Django: 完整強大的 Web 框架 Pyramid: 強大 Web 框架2 web2py: Google app engine 預設框架 flask: 輕量 Web 框架，覺得有興趣。 圖片處理 PIL: 可對圖片進行縮放切割旋轉，圖片操作 Pillow: 因為 PIL 太久沒更新而出的 fork 版本，現在都用這個了 科學計算 Numpy: 神 Matplotlib: 出圖之神 pandas: 有點像 excel 的資料分析神 scikit-learn: 機器學習之神 命令列操作 fabric: 可以直接撰寫 shell 命令，透過 fabric 執行，也支持遠端登入和自定義 Shell  paramiko: 提供遠端登入和部分指定呼叫 測試 django-nose: Django 的測試套件 網路爬蟲 Scrapy: Python 爬蟲框架之一，可以輕易地和 Django 協作 文件叵析 beautifulsoup: 美麗的湯，處理 html, xml 文本分析一定要學的套件 lxml: 不太熟，但是聽說也很好用  自然語言處理 nltk: 理論基礎及功能強大的語言處理套件，但相對低階，上手困難 textblob: 較高階的分詞、分句語言分析工具 jieba: 中文分詞、分句、語言分析工具 網路請求用戶端 requests: 常用的網路請求工具，直觀好用 pycurl: 處理 linux, unix 系統上的命令 背景程序、定時任務 celery: 可以輕易編寫、呼叫非同步及背景程序，或是執行定時任務 資料庫介接 mysql-python: MySQL 的資料庫介接套件， Django 連接 MySQL 的預設 psycopg2: PostgreSQL 吃料庫介接套件 pymongo: MongoDB 的介接套件 自己常用的主要都在科學計算的部分，努力想要切入 scikit-learn 中 XD，但是又覺得網頁端 & 資料庫很重要R

主要用於一個大型的 DataFrame 怎麼把其中某個 Column 的值減去某個特定值，雖然直觀但是超好用的！ 一定要記下來XD import pandas as pd ds = pd.DataFrame(np.arange(12).reshape(3,4), cols=['A','B','C','Average']) ds['A'] = ds['A'] - ds['Average'] ds['B'] = ds['B'] - ds['Average'] ds['C'] = ds['C'] - ds['Average'] #Pandas is easy like that! #Oh, that does it for the entire DF. You only want it for the firs row is that right? ds.loc[1, 'A'] = ds.loc[1, 'A'] - ds.loc[1, 'Average'] ds.loc[1, 'B'] = ds.loc[1, 'B'] - ds.loc[1, 'Average'] ds.loc[1, 'C'] = ds.loc[1, 'C'] - ds.loc[1, 'Average'] #or in a loop: for col in ['A', 'B', 'C']:     ds.loc[1, col] = df.loc[1, col] - ds.loc[1, 'Average'] #and so on... #if you have thousands of columns then simply do: for col in ds.columns:     ds[col] = ds[col] - ds[&#

有時候覺得程式撰寫的術語非常可愛，有 EAFP 原則 (It's Easier to Ask Forgiveness than Permission)，也有LBYL原則 (Look Before You Leap)， 光是要記住這些原則說不定又有個4P原則之類的。 　　 我也應該要來創造個 "吃吃喝喝" 原則 : 1. 吃快弄破碗原則 2. 吃飯皇帝大原則 3. 喝酒不開車原則 4. 沒事多喝水原則 真的是蠻有趣的XD

看到了一篇 Make 的報導: 使用 Twilio 打造簡訊機器人，讓我非常的心動，畢竟 tutorial 都寫好了， code 也都傳便便，怎麼能不嘗試一下呢XD。 不過失敗了(默)，因為 twilio 改版，變成還要花很多時間研究 twilio ，那就算了。 <- p=""> 但是中間學到最多的大概就是怎麼建立並啟動虛擬環境，幫助很大又好用，一定要記錄一下。 建立虛擬環境的詳細資料可以參考這篇  https://goo.gl/pzzbvS #安裝啟動虛擬環境套件 $ pip install virtualenv $ cd test/path/ $ virtualenv test_env  #建立虛擬環境，名稱 test_env $ cd test_env $ Scripts\activate  # 一定要用反斜線才能成功啟動 $ deactivate  #離開虛擬環境 測試了以後，這些指令最輕鬆寫意啦~(在 windows 下最輕鬆寫意XD)

為了幫同事寫計算程式，又再度遇到了可惡的 uft-8 與 cp950 編碼的問題，但是經歷了重重難關與搜尋，萬解在此！ # encoding=utf8 import sys reload(sys) sys.setdefaultencoding('utf8') 快去試試看吧！

太久沒更新啦～公司的工作安排又出現一些變動，加上自己最近都在忙，沒特別做什麼特別的事情，所以就暫停更新了。 不過這次的工作目的又要再把 Arduino 重出江湖，主要是用 Arduino 接上 MPU6050 和 Groove 的電磁鐵作微量位移控制。