Apache kylin安装与简单测试

  1. 下载kylin 安装包
  2. 已部署的HBase, Hive, Yarn并启动(参考博客CDH安装)。

在主机上部署

  1. mkdir /usr/local/apps
  2. cd /usr/local/apps
  3. rz (把包传到此目录下)
  4. tar -zxvf apache(tab键)
  5. 建立软连接ln -s apache-kylin-2.4.1-bin kylin
  6. 添加环境变量
    vim /etc/profile
    添加 export KYLIN_HOME=/usr/local/apps/kylin
  7. 环境变量生效
    source /etc/profile
  8. 修改kylin.properties配置文件
    cd /usr/local/apps/kylin/conf
    vim kylin.properties
    修改:
    kylin.server.cluster-servers=192.168.80.11:7070
    在下边添加配置:
    kylin.server.cluster-servers=192.168.80.11:7070
    kylin.job.jar=/usr/local/apps/kylin/lib/kylin-job-2.4.1.jar
    kylin.coprocessor.local.jar=/usr/local/apps/kylin/lib/kylin-coprocessor-2.4.1.jar
    kylin.job.yarn.app.rest.check.status.url=http://192.168.195.11:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
  9. 修改权限
    su hdfs(切换到hdfs用户)
    hadoop fs -chmod 777 / (修改权限)
  10. su (切换到root)
  11. cd /usr/local/apps/kylin/bin
  12. ./check-env.sh
  13. hdfs dfs -ls /
    可以看到这一行drwxr-xr-x - root supergroup 0 2019-04-16 22:12 /kylin
  14. ./find-hbase-dependency.sh
  15. ./find-hive-dependency.sh
  16. 启动kylin
    cd /usr/local/apps/kylin
    启动bin/kylin.sh start
    浏览器访问http://192.168.80.11:7070/kylin
    关闭bin/kylin.sh stop

测试kylin

参考内容_

  1. 运行 ${KYLIN_HOME}/bin/sample.sh;重启 Kylin 服务器刷新缓存;
  2. 用默认的用户名和密码 ADMIN/KYLIN 登陆 Kylin 网站,选择 project 下拉框(左上角)中的 learn_kylin 工程;
  3. 选择名为 kylin_sales_cube 的样例 Cube,点击 “Actions” -> “Build”,选择一个在 2014-01-01 之后的日期(覆盖所有的 10000 样例记录);
  4. 点击 “Monitor” 标签,查看 build 进度直至 100%;
  5. 点击 “Insight” 标签,执行 SQLs,例如:
    select part_dt, sum(price) as total_sold, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt
  6. 您可以验证查询结果且与 Hive 的响应时间进行比较;

Streaming 样例 Cube 快速入门
7. Kylin 也提供了 streaming 样例 Cube 脚本。该脚本将会创建 Kafka topic 且不断的向生成的 topic 发送随机 messages。

  1. 首先设置 KAFKA_HOME,然后启动 Kylin。
  2. 运行 ${KYLIN_HOME}/bin/sample.sh,它会在 learn_kylin 工程中生成 DEFAULT.KYLIN_STREAMING_TABLE 表,kylin_streaming_model 模型和 kylin_streaming_cube Cube。
  3. 运行 ${KYLIN_HOME}/bin/sample-streaming.sh,它会在 localhost:9092 broker 中创建名为 kylin_streaming_topic 的 Kafka Topic。它也会每秒随机发送 100 条 messages 到 kylin_streaming_topic。
  4. 遵循标准 Cube build 过程,并触发名为 kylin_streaming_cube 的 Cube 的构建。
  5. 点击 “Monitor” 标签,查看 build 进度。直至至少有一个 job 达到 100%。
    点击 “Insight” 标签,执行 SQLs,例如:
    select count(*), HOUR_START from kylin_streaming_table group by HOUR_START
  6. 验证查询结果。

更多精彩内容