15
2019
08

常用命令

#显示filename最后20行
tail -n 20 run.log

#任务后台运行
nohup python3 -u run.py > logs/run.log 2>&1 &
nohup python3 -u proxyPool.py schedule > run.log 2>&1 &
nohup python3 -u proxyPool.py webserver > run.log 2>&1 &

#查看后台运行任务
jobs -l

#关闭终端后查看后台任务
#a:显示所有程序 u:以用户为主的格式来显示 x:显示所有程序,不以终端机来区分
ps -aux | grep "run.py"

#关闭未正常断开的终端
pkill -kill -t pts/0

#查看内存使用情况
free

#查看cpu使用情况
top

#查看redis数据类型
type key_name

#查看set/zset成员数
scard key_name / zcard key_name

#创建scrapy项目
scrapy startproject

#创建spider
scrapy genspider movie movie.douban.com --template=crawl

#启动spider
scrapy crawl movie -o result.json

#scrapy-redis修改内容
CrawlSpider -> RedisCrawlSpider
redis_key = "movie:start_urls"
CompanyItem()


« 上一篇 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。