赋能平台、提效工具、场景化应用,地产大数据玩转有诀窍
在2017在线峰会——票选最美云上大数据暨大数据技术峰会上,来自明源云的刘峥分享了整个的地产行业的趋势以及探索应用实践。他主要从行业趋势和应用实践两个方面进行了分享。他详细的分享了数据管理平台DMP平台的基础层、画像层、算法层、展示层的架构设计,并通过应用场景诠释了大数据在地产行业的作用。
Java selenium操作下拉滚动条的几种方法
数据采集中,经常遇到动态加载的数据,我们经常使用selenium模拟浏览器操作,需要多次下拉刷新页面才能采集到所有的数据,就此总结了几种selenium操作下拉滚动条的几种方法我这里演示的是Java版本的,使用chromedriver,当然你可以换成python或其他语言,浏览器用firefox或者phantomjs(无头浏览器),大部分都是适用的,不同浏览器有略微的差异。
DTS-073102 获取增量数据失败
DTS实现增量迁移/同步的基本原理是对源库的增量数据抽取和增量数据同步是两个独立的进程,而抽取的增量数据保存在一个高可用的存储系统中.当增量迁移/同步进程无法获取指定时间点的增量数据时就会出现该错误.
杭州装上“城市大脑”——车辆通行速度最高提升11%
【本文转载自中国城市报】
日前,杭州市政府公布了一项“城市大脑”计划:为这座首批列入国家智慧城市试点的城市,安装一个人工智能中枢——杭州城市数据大脑。在杭州萧山区的部分路段初步试验中,城市大脑通过智能调节红绿灯,车辆通行速度最高提升了11%。
磁力链接+爬虫
磁力链接
磁力链接,简单的说(Magnet URI scheme):类似下面这样以“magnet:?xt=urn:btih:”开头的字符串,就是一条磁力链接;确切的说:“磁力链接”的主要作用是识别【能够通过“点对点技术(即:P2P)”下载的文件】。这种链接是通过不同文件内容的Hash结果生成一个纯文本的“数字指纹”,来识别文件的。而不是基于文件的位置或者名称。
Pyt