联网站,企业的网络推广,南昌公司注册代办,阳江百姓网招聘背景：scrapy启动了多个爬虫，每个爬虫都有读写文件的pipeline。发生了这一问题.
原因：超出了进程同一时间最多可开启的文件数.
解决办法： ulimit -n 2048，将数目提高，mac默认是256，linux是1024…背景：scrapy启动了多个爬虫，每个爬虫都有读写文件的pipeline。发生了这一问题.
原因：超出了进程同一时间最多可开启的文件数.
解决办法： ulimit -n 2048，将数目提高，mac默认是256，linux是1024，自行体会.
