scrapy框架中用ssh连接远程服务器的实现
作者：Aomori
前段时间用scrapy尝试抓取一些数据，写的时候真的很酸爽，眼睛要花掉了 但是！我没有存到数据库中，也就是说我只是确认了爬虫的代码没问题（草）
为什么我要用服务器的mysql，本地的不好吗？ 其实是我没有在本地装MySQL，但是我有服务器，再加上有phpmyadmin这么友好的web-base数据库管理工具，干嘛还折腾本地装软件
挖坑
其实刚开始写的时候，我是把数据库这模块的代码抛开的，链接数据库？不是很简单的事情吗，有啥好写的，首先打开搜索引擎，输入“ 如何用python连接远程mysql ”不就好了嘛！
然后我发现我看不懂，肯定是我打开的方式不对
填坑
后来经过了一路子的折腾，终于写好了，也连上了！
这里说一点不同的，在纯python上链接远程MySQL的代码，搬到scrapy上，是行不通的，虽然原理差不多，但还是得改
肯定是我搜索的姿势不正确，我找不到相关完整的scrapy链接远程mysql的参考，纯python的参考为居多。当时我另写了一个纯python测试链接，成功之后搬到scrapy的piplines.py上，Error警告啊
好了好了，不说废话了，回归正题
开搞
这里用到两个库，pymysql和sshtunnel
sshtunnel
它是让你通过ssh安全通道访问远程服务器的python库
pymysql
pymysql是在python3.5以上版本，用于链接MySQL的一个库，如果你是python3.4就装mysqldb这个库，（因为有很多参考上用的是mysqldb库）所以根据你的版本，不要装错了，不然就吃红条（错误）吧
代码
放置在piplines.py中
import pymysql
import sshtunnel
class SpiderPipeline(object):
server = sshtunnel.SSHTunnelForwarder(
('**.***.**.**', 22), #写你服务器的ip地址
ssh_username='**', #连接服务器的用户名
ssh_password='**', #连接服务器的密码
remote_bind_address=('**.***.**.**', 3306), #服务器ip
local_bind_address=('127.0.0.1', 3306)
)
server.start() #连接开启
print('SSH连接成功')
def __init__(self):
self.connect = pymysql.connect(
host='127.0.0.1',
port=3306,
user='***', # 数据库的用户名
database='***', # 数据库的库名
password='***', # 数据库密码
charset='utf8'
)
print('mysql数据库连接成功')
self.cursor = self.connect.cursor()
print('游标获取成功')
def process_item(self, item, spider):
#我这里写的是插入数据的sql语句
sql = """INSERT INTO charpter(CharterName,NovelName) VALUES ('%s','%s')""" % (item['charter_name'],item['book_name'])
#执行sql
self.cursor.execute(sql)
#提交数据
self.connect.commit()
print('数据插入成功')
return item
def close_spider(self,spider):
self.cursor.close() #关闭游标
self.connect.close() #关闭数据库链接
# server.stop() #关闭ssh链接这里就不多说废话了，看代码里面的注释基本能看懂了
我这种方式是同步存储，存储的速度相对慢一点，异步存储方式我还没去研究，这里给自己挖个坑，研究完异步存储我就另写一篇文哈哈哈
Mysql相关问题
如果发现代码无误的情况下，还是无法链接成功，这个时候就要看看你服务器的MySQL是否允许外来接入
mysql开放3306端口
要让MySQL允许链接，就要开放3306端口
查看端口是否打开
netstat -an|grep 3306
打开MySQL配置文件
文件路径：/etc/mysql/my.cnf
将里面的bin-address = 127.0.0.1 注释掉
重启MySQL
service mysqld restart
防火墙开放3306端口
查看firewalld状态
systemctl status firewalld
开放3306端口
firewall-cmd --zone=public --add-port=3306/tcp --permanent
重载
firewalld-cmd --reload
小结
其实连接数据库还是挺简单的，至少代码一看就懂，细心还是很重要的。当死活连不上，死活报错的时候，反过来想，代码肯定没问题，应该是哪个数据库的表或字段没有和代码上的一一对应，密码有特殊符号但是没转义等等，除此之外剩下的就交给程序玄学了
到此这篇关于scrapy 框架中用ssh连接远程服务器的文章就介绍到这了,更多相关scrapy 框架中用ssh连接远程服务器内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！