沉重
数据库建设和使用都非常笨重、臃肿,无法很好适应灵活多变、随处可见的计算需求
封闭
数据库的计算要在库内才能实施,难以完成跨(异构)库计算、无库计算
数据入库费时费力费资源
数据库无法嵌入使用,限制灵活性
同理,Hadoop相关技术也面临同样的问题
数据库建设和使用都非常笨重、臃肿,无法很好适应灵活多变、随处可见的计算需求
数据库的计算要在库内才能实施,难以完成跨(异构)库计算、无库计算
数据入库费时费力费资源
数据库无法嵌入使用,限制灵活性
同理,Hadoop相关技术也面临同样的问题
数据库本身存在结构性问题,而数据库语言(SQL)则又成为影响数据库的另一因素:
SQL不提倡过程,难以实现复杂计算,经常要写得很长
嵌套多层的复杂SQL很难调试
*扩展阅读: SQL像英语是个善意的错误
JAVA也常用于数据计算,但其算法实现比SQL还要复杂(缺少集合运算类库)
Python也被用于数据计算
pandas不是专业结构化数据计算包,在处理分组有序等复杂运算时较为繁琐
python几乎不具备集成性,很难嵌入到应用中实施计算
*扩展阅读: Pandas不擅长的结构化数据运算
计算目标:某支股票最长连续涨了多少交易日
select max(continuousDays)-1 from (select count(*) continuousDays from (select sum(changeSign) over(order by tradeDate) unRiseDays from (select tradeDate, case when closePrice>lag(closePrice) over(order by tradeDate) then 0 else 1 end changeSign from stock) ) group by unRiseDays)
可以试试能不能读懂这句SQL,而这个计算用自然思维很好解决
*扩展阅读: SQL 的困难源于关系代数
select max(continuousDays)-1 from (select count(*) continuousDays from (select sum(changeSign) over(order by tradeDate) unRiseDays from (select tradeDate, case when closePrice>lag(closePrice) over(order by tradeDate) then 0 else 1 end changeSign from stock) ) group by unRiseDays)
SQL在使用窗口函数的情况下嵌套三层完成;
前面读懂了吗?
A | |
---|---|
1 | =stock.sort(tradeDate) |
2 | =0 |
3 | =A1.max(A2=if(closePrice>closePrice[-1],A2+1,0)) |
其实这个计算很简单,按照自然思维:先按交易日排序(行1),然后比较当天收盘价比前一天高就+1,否则就清零,最后求个最大值(行3)
SPL特别适合复杂过程运算
专门针对结构化数据表设计
直接使用多个数据源混合计算,无需后台先将数据统一(ETL)后再计算
通过SPL可以针对MongoDB和文件等使用SQL进行查询
通过SPL可以针对MongoDB和文件等使用SQL进行查询
SPL解释执行,支持不停机热切换
方便地针对单任务实施多线程计算
集算器还可以辅助RDB计算,提升RDB能力
借助集算器的跨库与并行能力实现多数据库集群计算
集算器同时关联多个数据源进行实时数据混算,提供跨源T+0查询
可以通过SPL原生语法进行文件计算,同时支持SQL查文件,简单方便
集算器可以强化MongoDB计算能力,简化计算过程
传统ETL往往先L再ET,费时费力;通过集算器可以实现真正的ETL过程
使用集算器替代JAVA计算可以降低编码难度,提升运算效率
使用JAVA做处理在线计算会导致与应用耦合度过高,集算器可以解耦计算模块,单独运行维护
Java程序必须和主应用一起编译打包,耦合度高
使用Java编写的算法有修改后会导致整个应用重新编译部署,很难做到热切换。
集算器脚本文件可以单独维护,方便模块化
集算器是解释执行的语言,很容易做到热切换
集算器嵌入报表应用中完成报表数据准备工作(计算引擎),弥补报表工具本身计算能力不足
天下网标王枣强县如何优化网站锡林浩特网站优化多少钱网站优化方案定制网络优化师自学网站网站免费优化平台吴忠农产品网站优化优化公司网站催促云速捷力荐深圳哪里网站优化效果好网站页面优化修改网站的优化拣选火28星网站排名优化培训搜行者SEO山东网站优化排名公司网站内部结构优化宝山区企业网站优化定制舟山快速优化网站沁阳怎么优化网站网站外部优化预算表越秀区网站优化排名哪家好孝感seo网站优化佛山网站关键词优化公司天津放心的网站关键词优化壹起航怎么调整网站优化优化网站怎么做盘锦网站长尾关键词优化什么是wap端网站优化沁阳百度网站优化找哪家网站优化中易黄江网站优化费用福州鼓楼网站seo优化选哪家龙岩网站优化营商香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声卫健委通报少年有偿捐血浆16次猝死汪小菲曝离婚始末何赛飞追着代拍打雅江山火三名扑火人员牺牲系谣言男子被猫抓伤后确诊“猫抓病”周杰伦一审败诉网易中国拥有亿元资产的家庭达13.3万户315晚会后胖东来又人满为患了高校汽车撞人致3死16伤 司机系学生张家界的山上“长”满了韩国人?张立群任西安交通大学校长手机成瘾是影响睡眠质量重要因素网友洛杉矶偶遇贾玲“重生之我在北大当嫡校长”单亲妈妈陷入热恋 14岁儿子报警倪萍分享减重40斤方法杨倩无缘巴黎奥运考生莫言也上北大硕士复试名单了许家印被限制高消费奥巴马现身唐宁街 黑色着装引猜测专访95后高颜值猪保姆男孩8年未见母亲被告知被遗忘七年后宇文玥被薅头发捞上岸郑州一火锅店爆改成麻辣烫店西双版纳热带植物园回应蜉蝣大爆发沉迷短剧的人就像掉进了杀猪盘当地回应沈阳致3死车祸车主疑毒驾开除党籍5年后 原水城县长再被查凯特王妃现身!外出购物视频曝光初中生遭15人围殴自卫刺伤3人判无罪事业单位女子向同事水杯投不明物质男子被流浪猫绊倒 投喂者赔24万外国人感慨凌晨的中国很安全路边卖淀粉肠阿姨主动出示声明书胖东来员工每周单休无小长假王树国卸任西安交大校长 师生送别小米汽车超级工厂正式揭幕黑马情侣提车了妈妈回应孩子在校撞护栏坠楼校方回应护栏损坏小学生课间坠楼房客欠租失踪 房东直发愁专家建议不必谈骨泥色变老人退休金被冒领16年 金额超20万西藏招商引资投资者子女可当地高考特朗普无法缴纳4.54亿美元罚金浙江一高校内汽车冲撞行人 多人受伤