Python小白來了

後續：pd.read_csv解君愁

Power BI符不符合需求

要處理大量數據並加速導入和分析過程，可以考慮以下幾種方法：

1. **使用更高效的數據格式**：
   - **CSV**：比Excel更快，可以直接使用`pandas`的`read_csv`方法導入。
   - **HDF5**：適合存儲大規模數據，並且支持部分讀取。
   - **Parquet**：專為大數據設計的格式，讀寫速度快。

2. **分批讀取和處理數據**：
   - 可以將數據分成較小的部分，逐步讀取和處理。

3. **儲存中間結果**：
   - 將處理後的數據儲存為中間結果，方便後續微調。
   - 可以使用Pandas的`to_pickle`方法將DataFrame儲存為二進制文件，之後可以快速讀取。

下面是一個示例代碼，展示如何使用上述方法加速數據處理：

```python
import pandas as pd

# 假設有多個Excel文件需要導入
file_list = ['data1.xlsx', 'data2.xlsx', 'data3.xlsx']  # 添加所有文件名稱

# 使用read_csv或read_excel讀取數據
df_list = [pd.read_excel(file) for file in file_list]

# 合併所有DataFrame
combined_df = pd.concat(df_list, ignore_index=True)

# 儲存為HDF5格式
combined_df.to_hdf('combined_data.h5', key='df', mode='w')

# 儲存為Parquet格式
combined_df.to_parquet('combined_data.parquet')

# 儲存為pickle格式
combined_df.to_pickle('combined_data.pkl')

# 讀取儲存的文件
df_from_hdf = pd.read_hdf('combined_data.h5', key='df')
df_from_parquet = pd.read_parquet('combined_data.parquet')
df_from_pickle = pd.read_pickle('combined_data.pkl')

# 檢查數據
print(df_from_hdf.head())
print(df_from_parquet.head())
print(df_from_pickle.head())
```

這樣可以加速數據讀取和處理過程，並且方便後續進行微調。你可以根據需要選擇合適的數據格式來儲存中間結果。

access?

十几分钟算快的了吧

很久以前用过feather，现在应该有类似的新技术

分块并发读入

你问题应该是数据格式的读取吧，我不知道能不能pandas直接读excel，但excel应该可以转csv然后pandas读csv？

excel应该可以转csv然后pandas读csv？

搞数据库吧 excel太慢了

csv一把梭