大数据分析处理的工具
大数据是一种能够快速获取各类数据中有效且有价值的信息的技术。现在在大数据领域有很多新技术易于操作。它们将是大数据收集、处理、存储和信息展示的最有效工具。
? 1. 大数据接入
? 大数据接入
现有数据访问、实时数据访问、消息记录数据访问、文件、文本、图片、视频等数据访问.
? 大数据接入技术
Kafka,ActiveMQ,ZeroMQ,Flume,Sqoop,Socket(Mina,Netty),ftp/sftp
2. 大数据存储
大数据存储
结构化数据存储、半结构化数据存储、非结构化数据存储
? 大数据存储技术
HDFS, HBASE, Hive, S3, Kuduu, MongoDB, Neo 41, Redis, Alluxo (Tachyan), Solr, ElasticSearch
3. 数据分析挖掘
? 大数据分析与挖掘
? 离线分析、实时分析、准实时分析、图像识别、语音识别、机器学习等
? 大数据分和挖掘技术
Map reasoning, hive, pig, spark, Flink,Impala,Kylin,tez,Akka,Storm,S4, etc.。
? 数据分析需要多种数据库客户端工具的组合,如P/L SQL query analyzer Navicat shell和其他客户端工具。例如,如果使用基于Web的treesoft数据库管理系统,可以很方便地同时连接mysql Oracle、BD2、SQL server、mongodb、hive和SAP haha。使用基于web的工具的优点是:省时、方便、一次性部署,
4. 大数据共享交换
? 大数据共享交换
数据访问、数据清理、转换、解密、数据资产管理、数据导出
数据存取后,通常存储在数据库中,便于数据分析、清洗、转换、脱敏等处理。这些操作与数据可视化客户端工具密不可分。大量大数据需要分批、分任务、分时段处理。Treesoft数据库管理系统提供数据定时任务、管理、数据交换同步任务管理、统一任务管理、执行进度显示、处理日志和视图等功能,
大数据共享交换技术
Kafka,ActiveMQ,ZeroMQ,Dubbo,Socket(Mina,Netty),ftp/sftp,Rest Ful,
Web Service
?? 5.大数据的展现
大数据的展现
图形显示(柱状图、地图、饼图、雷达图、散点图、折线图、K线图、箱线图、热图、关系图、矩形树形图、漏斗图、仪表板、平行坐标);
大数据展现技术
Echarts, Tabeau,TreeSoft数据库管理系统把SQL查询结果直接以图展示,快速展现分析结果