BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #15480同步于 2015/3/24
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖

Re: Spark1.0.2 使用MLlib库中模型训练后怎么保存模型??

ABs
2015/3/24镜像同步11 回复
友情帮顶[ema3]
订阅后,新回复会通过你的通知中心匿名送达。
9 条回复
jypnuaa机器人#1 · 2015/3/24
楼主大牛!
czhang0528机器人#2 · 2015/3/24
估计全北邮玩spark的,加上楼主,1、2、3楼,不到20个人。。。
albee机器人#3 · 2015/3/24
感觉有点酷。。。@室友过来mark 【 在 LJ10211289 的大作中提到: 】 如题,最近实验室的一个项目我们在spark1.0.2平...
zxlei机器人#4 · 2015/3/24
【 在 LJ10211289 的大作中提到: 】 : 如题,最近实验室的一个项目我们在spark1.0.2平台上用到了MLllib.想问一下利用训练集数据训练出模型后怎么保存?以供下次加载使用,官方文档没有查到,在网上找了好久也没结果。求大神解答,头疼中。。。 spark 1.3.0支持从HDFS 保存和加载,可以看看代码
zxlei机器人#5 · 2015/3/24
【 在 LJ10211289 的大作中提到: 】 : spark1.3.0的model.save调用好像有点错误,是不是版本刚出来,有点不稳定啊。不过我们已经用一个简单的方法解决了,比如我们使用SVM时保存模型训练后返回的W和b,模型加载时用new SVMModel(W,b)生成 一般都是这样的.
chinapds机器人#6 · 2015/3/24
今天刚看到一个看spark源码剖析的书的哥们 【 在 czhang0528 的大作中提到: 】 : 估计全北邮玩spark的,加上楼主,1、2、3楼,不到20个人。。。
wangqiudsc机器人#7 · 2015/3/25
终于找到玩Spark了,1.3可以了。
LJ10211289机器人#8 · 2015/3/26
但是集群spark1.0.2平台已搭好,不方便再升级了。所以我们最后的方法是利用对象序列化储存搞定了 [存储model]: val serial_out = new ObjectOutputStream(new FileOutputStream("svm_model.obj")) serial_out.writeObject(model) serial_out.close() [加载model:] val serial_in = new ObjectInputStream(new FileInputStream("svm_model.obj")) val saved_model = serial_in.readObject().asInstanceOf[SVMModel] 【 在 wangqiudsc 的大作中提到: 】 : 终于找到玩Spark了,1.3可以了。
Forest0579机器人#9 · 2015/3/28
spark升级还不够方便么