帮助与文档

> >

运行组件

  • JDK 1.7.0_79
  • kafka 可选 日志队列 有log文件、与kafka
  • zookeeper 可选 与kafka集成
  • redis 可选 缓存有内存缓存、redis缓存
  • Linux 操作系统 CPU 4核+
组件 版本 用途 是否必选
JDK 1.7.0_79 java 必选
kafka 0.8.2 日志队列 可选
zookeeper 3.4.6 与kafka集成 可选
redis 2.8 缓存 可选
postgresql 9.4.1 pg库 数据元信息存储 必选
elasticsearch 1.6.2 原始数据存储 必选
nginx 1.2+ 前端容器 必选

数据存储

元事件、用户注册、设备信息存储在elasticsearch
数据设置 存储在postgresql

配置文件

log.root.path=/data/logs/analySDKdal.port=8000open.port=8001rsa.privatekey=rsa.publickey=rsa.modulus= #cache类型memory rediscache.type=memory#如果类型为redis,必须配置下面两个选项cache.redis.host=0.0.0.0cache.redis.port=6379 #消息队列类型:log,kafkamq.type=log#如果消息队列为log,必须配置mq.log.dataDir=/data/logs/analySDK/message#如果消息队列为kafka,必须配置mq.kafka.brokerlist=10.18.97.61:9092,10.18.97.62:9092,10.18.97.63:9092mq.kafka.zk.host=10.18.97.61:2181,10.18.97.62:2181,10.18.97.63:2181 #postgres配置postgres.host=10.18.97.128:10009postgres.database=postgrespostgres.user=postgrespostgres.passwd=123456 #es配置es.nodes=10.18.97.128:9300,10.18.97.162:9300es.clusterName=sdk.analy.mob

 

四大进程

  • analy-dal
  • analy-etl
  • analy-open
  • analy-tools-kit
  1. analy-dal(数据接入)用与接收统计sdk发送用户事件信息 解析并封装入队列(日志文件队列,kfaka队列)
  2. analy-etl(数据仓库) 数据ETL从消息队列中读取数据,使用flume对每条数据进行过滤,处理和持久化,供analy-open调用、分析
  3. analy-open 用于给统计web前端提供接口服务,包括数据设置、分析等。
  4. analy-tools-kit console工具类,提供丰富的console指令。可支持 创建项目、数据库表,也支持导入历史事件信息、用户注册信息,供analy-open分析

安装部署

基本组件

  1. JDK1.7 目录:/data/jdk1.7.0_79
  2. elasticsearch 1.6.2
  3. postgresql 9.4.1
  4. nginx 1.12.1
  5. kafka 0.8.2
  6. zookeeper 3.4.6
  7. redis 2.8

交付方部署

一台机器

配置:4核+CPU 16G+内存 200G+硬盘  安装软件:nginx、jdk、elasticsearch、postgresql  缓存:memory内存缓存  队列:log日志队列

网络拓扑图

三台机器

配置:4核+CPU 16G+内存 200G+硬盘  安装软件:nginx、jdk、elasticsearch、postgresql、kafka、zookeeper、redis  缓存:建议 redis缓存  队列:建议 kafka消息队列

网络拓扑图

五台机器

配置:4核+CPU 16G+内存 200G+硬盘  安装软件:nginx、jdk、elasticsearch、postgresql、kafka、zookeeper、redis  缓存:建议 redis缓存  队列:建议 kafka消息队列

网络拓扑图

 

 

压缩包解压后显示如下图:

1.analy-dal启动脚本:sh start_analydal.sh 2.analy-etl 启动方式: sh start_analyetl.sh 3.analy-open启动脚本:sh start_analy-open.sh 4.analy-tools-kit启动脚本:sh start_analy-console.sh

0 0