电脑公司下载站-专注免费资源分享

电脑公司首页 最新更新 手机站

PiFlow(大数据流水线系统)

v0.9
PiFlow(大数据流水线系统)图标

点此纠错

  • 所属类型:系统软件
  • 应用大小:302.13 MB
  • 生产厂商:暂无
  • 发布时间:2022-03-28
  • 使用权限:暂无
  • 语言要求:英文
  • 硬件要求:winall
  • 推荐评分:★★★★★
  • 更新时间:2023-02-11
  • 隐私政策:暂无
10.0
软件简介

PiFlow是一个扩展性强,性能优越,简单易用的大数据流水线系统,提供了100+的数据处理组件,包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等,欢迎下载使用!

软件特色

可视化配置流水线

监控流水线

查看流水线日志

检查点功能

支持自定义开发数据处理组件

基于分布式计算引擎Spark开发

集成了微生物领域的相关算法

使用方法

解压piflow-server-v0.9.tar.gz:

tar -zxvf piflow-server-v0.9.tar.gz

编辑配置文件config.properties

运行、停止、重启PiFlow Server

start.sh、stop.sh、 restart.sh、 status.sh

测试 PiFlow Server

设置环境变量 PIFLOW_HOME

vim /etc/profile

export PIFLOW_HOME=/yourPiflowPath/bin

export PATH=PATH:PIFLOW_HOME/bin

运行如下命令

piflow flow start example/mockDataFlow.json

piflow flow stop appID

piflow flow info appID

piflow flow log appID

piflow flowGroup start example/mockDataGroup.json

piflow flowGroup stop groupId

piflow flowGroup info groupId

如何配置

config.properties

#spark and yarn config

spark.master=yarn

spark.deploy.mode=cluster

#hdfs default file system

fs.defaultFS=hdfs://10.0.86.191:9000

#yarn resourcemanager.hostname

yarn.resourcemanager.hostname=10.0.86.191

#if you want to use hive, set hive metastore uris

#hive.metastore.uris=thrift://10.0.88.71:9083

#show data in log, set 0 if you do not want to show data in logs

data.show=10

#server port

server.port=8002

#h2db port

h2.port=50002

以上就是电脑公司系统小编今日为大家带来的PiFlow(大数据流水线系统),更多软件下载尽在电脑公司系统

PiFlow(大数据流水线系统)截图1
多平台下载
相关软件
相关文章

相关专题

win10专业版最新合集 声卡驱动软件大全 电脑驱动软件哪个最好用
win10专业版最新合集 -------

win10专业版最新合集

-------

win10专业版有哪些?win10专业版的版本还是挺多的,分为32位和61位,每个版本都有它独到的功能所在,至于是否好用,要看个人习惯以及电脑配置是否能够流畅的运行。今天给大家带来win10专业版最新合集。

声卡驱动软件大全 -------

声卡驱动软件大全

-------

声卡驱动软件有哪些?市面上声卡驱动软件还是蛮多,但是知名常用的也就那么几款,不过有些不常用的软件用起来也确实是挺好用的,声卡驱动简而言之就是给声音一个驱动,让电脑有声音传输出来。下面给大家来带一些声卡驱动软件大全。

电脑驱动软件哪个最好用 -------

电脑驱动软件哪个最好用

-------

电脑驱动软件哪个最好用?小伙伴们经常会使用电脑的驱动软件给电脑的系统进行优化和更新,现在系统的更新换代非常迅速,小伙伴们总是跟不上,电脑使用起来非常的卡,使用体验差,迫切需要一款可以加速电脑运行的驱动软件,接下来小编给大家带来最新电脑驱动软件推荐,快来一起看看吧!

网站地图 | 关于我们 | 下载帮助 | 免责声明 | 商务合作 | 联系我们 | 用户反馈

Copyright 2019-2024 dnxp.net 电脑公司下载站 版权所有陕ICP备2024030148号-3

声明: 本站 所有软件和文章来自互联网 如有异议 请与本站联系

^
举报
X
PiFlow(大数据流水线系统)
举报原因: