2018-03-21

• elleryq says: 在試圖利用縮減記憶體的 pattern 來處理大量資料前，先看一下 pandas 能做到什麼程度。
  首先，pandas 的 dataframe 提供 memory_usage() 可以看記憶體用量。
  How to estimate how much memory a Pandas' DataFr...
  • e*****q says: pandas.DataFrame.memory_usage — pandas 0.19.2 documentation
  • e*****q says: Using pandas with large data這篇蠻值得一看，現在只大略看一下，大意是先使用手動操作方式去觀察 dataframe 內部對資料的處理，試著調整內容的 type 做實驗，並做出縮減，然後最後告訴你在 read_csv 時可以怎麼做。
  • e*****q says: pandas 的 ExcelWriter 其實就是 xslxwriter ，但是這是可以調整與改變的，主要是改 config 設定。