问答交流

【平台数据处理求指教】关于SQL和Python 运行速度的问题

由bqv93dy2创建,最终由bqv93dy2 被浏览 8 用户

能介绍一下平台数据的处理方式吗,有时候完全使用SQL计算因子特征会非常的慢,尤其是高频数据表要join其它日频表的时候。


下面一张图是我需要复现研报(兴业证券)的内容,请问这种因子我是该提取数据出来后用python还是直接用SQL写了存表呢?


\

标签

数据处理
评论
  • 两种方法都行,只是 sql可能需要熟悉下,性能会高些。python的话是简单些,性能可能慢点
  • 建议python,灵活一点哈
  • 田老师,我的意思是说用SQL join高频表和日频表的时候,如果出现这个操作就会很慢。能解释一下原因吗。而且这样容易提示内存不足。SQL按天提取,再用python好像会好一些。
{link}