1 | 5.7.22-log |
1 | -d --no-data No row information 只导出数据结构 |
##开始实验
1 | create database aaaa; |
1 | mysqldump -u root -p --all-databases --set-gtid-purged=OFF > /tmp/test.dump |
1 | mysql -u root -p12345678 < test.dump |
因为mysqldump属于逻辑备份，恢复步骤为先检查要恢复的database是否存在，如果不存在就手动创建，如果存在就进入database去检查表是否存在，如果存在，会先删除再手动创建,表创建完成之后插入数据,分析dump文件，具体内容如下：
4.1、创建database：
1 | -- |
4.2、检查并创建表aaa:
1 | -- |
4.3、对表aaa插入备份出来的数据：
1 | -- |
为了满足mongodb数据库高可用环境，可以使用配置副本集CSRS（config server replica set)，搭建方法点击此处,但是当业务吞吐量特别高的时刻，单台节点已经不能满足访问需求，因此需要考虑sharding cluster 模式，提高访问性能。
1.1、节点信息如下：
主：10.0.7.53
从：10.0.7.51
仲裁：10.0.7.50
依次关闭仲裁、从、主节点，修改配置文件mongodb.conf，添加如下信息：
1 | sharding: |
1.2、修改完三个节点之后，依次启动主，从，仲裁三个节点，进入控制台使用rs.status()，查看集群状态是否正常。为了保证停机时间较短，可使用rs.stepDown()分别进行主从切换，对从库进行配置并重启。
2.1、节点信息如下：
从：10.0.7.53
主：10.0.7.51
仲裁：10.0.7.50
2.2、拷贝一份mongodb.conf文件，并重新命名
cp mongodb.conf shard1mongodb.conf
2.3、主节点需要在无需验证的模式下，先配置用户名密码。之后修改（三个节点）shard1mongodb.conf配置文件内容如下：
cat shard1mongodb.conf
1 | # mongod.conf |
注意修改sharding、port、path、replname等参数
2.4、创建相应的数据目录和日志目录：
1 | mkdir -p /data/mongodb/shard1/{log,data} |
2.5、生成keyfile文件并拷贝keyfile文件到指定目录：
1 | cp mongodb.keyfile /data/mongodb/shard1/ |
2.6、三个节点启动mongodb-shard1:
1 | /data/mongodb/bin/mongod -f /data/mongodb/shard1mongodb.conf |
2.7、初始化集群配置：
/data/mongodb/bin/mongo –port 30001
–
rs.initiate(
{
_id : “shard”,
members: [
{ _id : 0, host : “10.0.7.53:30001” },
{ _id : 1, host : “10.0.7.50:30001” },
{ _id : 2, host : “10.0.7.51:30001”,”arbiterOnly” : true }
]
}
)
2.8、查看集群节点信息：
1 | rs.status(); |
1 | { |
3.1、节点信息如下：
1 | 从：10.0.7.53 |
3.2、拷贝一份mongodb.conf文件，并重新命名
1 | cp shard1mongodb.conf configmongodb.conf |
3.3、主节点需要在无需验证的模式下，先配置用户名密码。之后修改（三个节点）configmongodb.conf配置文件内容如下：
cat configmongodb.conf
1 | # mongod.conf |
注意修改sharding、repl、port、path
3.4、创建相应的数据目录和日志目录：
1 | mkdir -p /data/mongodb/config/{log,data} |
3.5、三个节点启动mongodb-shard1:
1 | /data/mongodb/bin/mongod --configsvr -f /data/mongodb/configmongodb.conf |
启动config-server服务需要指定参数，否则初始化集群的时候会报错：
1 | "errmsg" : "Nodes being used for config servers must be started with the --configsvr flag" |
3.6、初始化集群配置：
/data/mongodb/bin/mongo –port 30002
–
rs.initiate(
{
_id : “config”,
configsvr: true,
members: [
{ _id : 0, host : “10.0.7.53:30002” },
{ _id : 1, host : “10.0.7.50:30002” },
{ _id : 2, host : “10.0.7.51:30002” }
]
}
)
3.7、查看集群信息：
1 | rs.status(); |
4.1、拷贝一份配置文件，并重命名
1 | cp configmongodb.conf routermongodb.conf |
4.2、修改配置文件参数，内容如下：
cat routermongodb.conf
1 | # mongod.conf |
注意修改sharding,port参数，注释掉storage参数
4.3、创建router日志目录
1 | mkdir -p /data/mongodb/router/log |
4.4、启动mongos
1 | /data/mongodb/bin/mongos -f /data/mongodb/routermongodb.conf |
4.5、为模拟生产环境数据，对testrepl集群节点，插入部分数据,批量插入脚本如下：
1 | use test |
4.6、连接到mongos
1 | shell > mongo --host 10.0.7.50 --port 30004 |
4.7、将节点添加到集群内：
1 | mongos> sh.addShard("testrepl/10.0.7.53:30000") |
4.8、使数据库test支持sharding
1 | mongos> sh.enableSharding("test") |
4.9、查看拆分结果,(可多次重复4.5步骤进行测试）
sh.status()或者db.printShardingStatus()
1 | --- Sharding Status --- |
1 | 5.7.22 |
1 | Last_SQL_Error: Could not execute Write_rows event on table test.tb1; |
2.1、在主库上查询二进制文件信息：
1 | /data/mysql/bin/mysqlbinlog -v --stop-position=273273632 /data/mysql/log/mysql-binlog.000005 > /tmp/f.log |
2.2、过滤出报错的pos所对应的行数：
1 | cat /tmp/f.log | awk '/end_log_pos 273273632/ {print NR}' |
1 | 22556452 |
2.3、根据查询到的行数，查看其上下文：
1 | cat /tmp/f.log | awk 'NR==22556442,NR==22556492' |
2.4、查询到insert的插入语句
1 | ### INSERT INTO `test`.`tb1` |
2.5、在从库上执行下面操作，停止主从同步
1 | stop slave; |
2.6、删除报错提示的对应的行：
1 | use test; |
2.7、重新启动主从同步，查看节点信息正常：
1 | start slave; |
1 | 主：10.0.7.53 |
3.1、创建管理员用户名、密码：
1 | shell > /data/mongodb/bin/mongo --port 30000 |
使用userAdminAnyDatabase的role权限去查看rs.status();会提示
“not authorized on admin to execute command”,建议授予root权限：
1 | db.createUser( |
3.2、查看创建的管理员信息：
1 | MongoDB Enterprise testrepl:PRIMARY> db.system.users.find() |
3.3、退出控制台，修改配置文件mongodb.conf(每个节点都要配置)：
1 | security: |
4.1、生成密钥文件，用于集群之间互相通信：
1 | openssl rand -base64 756 > /data/mongodb/mongodb.keyfile |
4.2、更改文件权限以仅为文件所有者提供读取权限
1 | chmod 400 /data/mongodb/mongodb.keyfile |
4.3、将密钥文件复制到每个副本集成员
1 | scp /data/mongodb/mongodb.keyfile root@10.0.7.51:/data/mongodb/ |
4.4、修改配置文件mongodb.conf，添加keyfile参数(每个节点都要配置)：
1 | security: |
5.1、修改配置文件mongodb.conf，添加集群配置参数(每个节点都要配置)：
1 | replication: |
replSetName:设置集群名称，根据自己需求自定义（三个节点要保持一直）
5.2、重新启动mongodb
1 | /data/mongodb/bin/mongod -f /data/mongodb/mongodb.conf |
5.3、进入主节点控制台
1 | /data/mongodb/bin/mongo --port 30000 |
5.4、添加集群节点：
1 | use admin; |
执行结果如下：
1 | { |
5.5、查看集群状态
1 | MongoDB Enterprise testrepl:PRIMARY> rs.status(); |
5.6、从库默认为不能读写模式，如果要启动从库的读模式，进入从库执行以下命令：
1 | rs.slaveOk(); |
5.7、增加一个仲裁节点，新增节点，配置文件中密钥文件、repl参数一定要保持一致：
1 | rs.addArb("m1.example.net:27017") |
5.8、添加一个新的从节点，添加之前设置该节点优先级为0，表决为0，以防止该节点数据未同步完成之前参与选举，待该节点数据同步完成之后，使用rs.reconfig()参数再修改其优先级和表决：
1 | rs.add( { host: "mongodb3.example.net:27017", priority: 0, votes: 0 } ) |
rs.reconfig()命令执行如下：
1 | var cfg = rs.conf(); |
1.1配置yum源
cat /etc/yum.repos.d/mongodb-enterprise.repo
1 | [mongodb-enterprise] |
1.2执行安装命令
1 | sudo yum install -y mongodb-enterprise |
如果想要指定安装某一个版本的mongodb,需要指定每一个组件的安装版本,如下所示：
1 | sudo yum install -y mongodb-enterprise-4.0.0 mongodb-enterprise-server-4.0.0 mongodb-enterprise-shell-4.0.0 mongodb-enterprise-mongos-4.0.0 mongodb-enterprise-tools-4.0.0 |
1.3mongodb启动、关闭命令：
1 | sudo service mongod start |
1.4通过yum方式安装完之后，配置文件所在为/etc/mongod.conf
2.1安装之前需要，安装依赖包：
linux-6:
1 | yum install -y cyrus-sasl cyrus-sasl-plain cyrus-sasl-gssapi krb5-libs libcurl libpcap net-snmp openldap openssl |
linux-7
1 | yum install -y cyrus-sasl cyrus-sasl-gssapi cyrus-sasl-plain krb5-libs libcurl libpcap lm_sensors-libs net-snmp net-snmp-agent-libs openldap openssl rpm-libs tcp_wrappers-libs |
2.2下载mongodb-enterprise软件包
1 | wget https://downloads.mongodb.com/linux/mongodb-linux-x86_64-enterprise-rhel70-4.0.0.tgz |
2.3解压软件包，修改目录名称，配置环境变量
1 | tar -zxvf mongodb-linux-x86_64-enterprise-rhel70-4.0.0.tgz -C /data/ |
2.4修改配置文件
cat /data/mongodb/mongodb.conf
1 | # mongod.conf |
2.5修改的配置文件中，如果数据目录，日志目录不存在会报错，需要手动配置：
1 | mkdir -p /data/mongodb/{log,data} |
2.6启动mongodb
1 | shell>/data/mongodb/bin/mongod -f /data/mongodb/mongodb.conf |
2.7查看mongodb进程：
1 | netstat -tunlp|grep 30000 |
1 | openresty -V |
如果”–with-http_stub_status_module”参数，表示没有安装，要手动添加：
1 | 在编译nginx 的时候要加上参数 –with-http_stub_status_module， |
2.1添加配置文件nginx_status.conf
cat /usr/local/openresty/nginx/conf/conf.d/nginx_status.conf
1 | server { |
2.2重新加载配置文件
1 | openresty -s reload |
2.3获取nginx监控状态
1 | curl http://127.0.0.1/basic_status |
nginx监控参数详解
1 | ## Active connections: 对后端发起的活动连接数 |
创建存放脚本目录，（我的zabbix安装路径为 /usr/local/zabbix）：
1 | mkdir /usr/local/zabbix/script |
创建存放数据文件（可自行定义）：
1 | touch .status.txt |
编辑脚本用于获取nginx监控状态参数：
1 | echo " |
修改目录下所有文件的权限，否则脚本写入文件会有权限问题
1 | chown -R zabbix.zabbix /usr/local/zabbix/script |
添加zabbix参数到agent配置文件
1 | echo \"UserParameter=nginx.Active,sh /usr/local/zabbix/script/nginx_connection.sh Active |
重新启动agent客户端：
1 | /etc/init.d/zabbix_agentd restart |
在server端测试是否能获取到参数：
1 | /usr/local/zabbix/bin/zabbix_get -s 10.1.130.47 -k nginx.Active |
1 | Redis集群相对单机在功能上有一定限制。 |
1 | 主1：10.0.7.53-6379, 10.0.7.53-6380 |
cat /data/redis/etc/redis6379.conf(不同服务器，修改bind对应的ip即可)
1 | pidfile /data/redis6379/log/redis.pid |
cat /data/redis/etc/redis6380.conf(不同服务器，修改bind对应的ip即可)
1 | pidfile /data/redis6380/log/redis.pid |
创建指定的文件目录(指定目录不存在，启动会报错)
1 | mkdir -p /data/redis6379/log/ |
3.1启动服务之前，修改内核参数：
1 | echo never > /sys/kernel/mm/transparent_hugepage/enabled |
3.2在三个服务器上，分别启动redis服务
1 | /data/redis/src/redis-server /data/redis/etc/redis6379.conf |
1 | cat /data/redis6379/nodes.conf |
该文件记录了节点信息id，不随主机名和端口的改变而改变。
5.1配置集群需要安装ruby
1 | yum install -y ruby |
5.2需要先安装rvm，升级ruby版本
1 | 安装curl： |
5.3再安装redis就可以了
1 | gem install redis |
5.4安装完成之后，执行以下命令创建一个新的集群
1 | /data/redis/src/redis-trib.rb create --replicas 1 10.0.7.53:6379 10.0.7.53:6380 10.0.7.50:6379 10.0.7.50:6380 10.0.7.51:6379 10.0.7.51:6380 |
–replicas 1：该参数代表为每一个主节点增加一个从节点
1 | >>> Creating cluster |
重新执行创建集群
1 | >>> Creating cluster |
5.5集群安装完成，查看集群状态
1 | /data/redis/src/redis-trib.rb check 10.0.7.53:6379 |
6.1杀掉任意一个主节点，从节点自动切换为主，
1 | /data/redis/src/redis-trib.rb check 10.0.7.53:6380 |
6.2重新启动别杀掉的节点之后，该节点自动变为从：
1 | /data/redis/src/redis-trib.rb check 10.0.7.53:6380 |
1 | Loaded plugins: fastestmirror, langpacks |
产生该问题的主要原因是：在系统upgrade的时候，残存了上一个版本的软件包
首先安装 yum-utils 套件
1 | yum install yum-utils |
执行clean duplicate package
1 | package-cleanup --cleandupes |
重新安装glibc
1 | yum reinstall glibc glibc-common libgcc |
安装完成之后再安装gcc
1 | yum install gcc |
节点信息：
主1：10.0.7.53
从2：10.0.7.50
从3：10.0.7.51
除了在三个节点部署redis服务，再分别部署sentinel。
主节点1配置：
1 | pidfile /data/redis/log/redis.pid |
从节点2配置：
1 | pidfile /data/redis/log/redis.pid |
从节点3配置：
1 | pidfile /data/redis/log/redis.pid |
上面配置相关参数详解：
1 | #复制选项，slave复制对应的master。 |
cat sentinel.conf
1 | port 26379 |
指定的dir路径若不存在需要手动创建：
1 | mkdir -p /tmp/sentinel |
sentinel相关配置参数详解：
1 | #sentinel monitor mymaster 10.0.7.53 6379 2 |
各服务器启动redis服务
1 | /data/redis/src/redis-server /data/redis/etc/redis.conf |
各服务器启动sentinel服务
1 | /data/redis/src/redis-sentinel /data/redis/sentinel.conf |
查看集群信息
1 | /data/redis/src/redis-cli -h 127.0.0.1 -p 26379 INFO Sentinel |
1 | wget https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tar.xz |
1 | cd Python-3.7.0/ |
1 | ModuleNotFoundError: No module named '_ctypes' |
解决方法：
安装libffi-devel
yum install libffi-devel
重新编译安装
make && make install
1 | ll /usr/bin/python* |
1 | rm -rf /usr/bin/python #需要删除旧版的python,否则报错 |
使用yum命令报以下错误：
1 | yum clean all |
解决 yum 不可用：
1 | 修改/usr/bin/yum配置文件 |
1 | yum install tree -y |
解决方法：
1 | 修改/usr/libexec/urlgrabber-ext-down配置文件 |