返回信息流友情帮顶[ema3]
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #15480同步于 2015/3/24
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖
Re: Spark1.0.2 使用MLlib库中模型训练后怎么保存模型??
ABs
2015/3/24镜像同步11 回复
订阅后,新回复会通过你的通知中心匿名送达。
9 条回复
【 在 LJ10211289 的大作中提到: 】
: 如题,最近实验室的一个项目我们在spark1.0.2平台上用到了MLllib.想问一下利用训练集数据训练出模型后怎么保存?以供下次加载使用,官方文档没有查到,在网上找了好久也没结果。求大神解答,头疼中。。。
spark 1.3.0支持从HDFS 保存和加载,可以看看代码
【 在 LJ10211289 的大作中提到: 】
: spark1.3.0的model.save调用好像有点错误,是不是版本刚出来,有点不稳定啊。不过我们已经用一个简单的方法解决了,比如我们使用SVM时保存模型训练后返回的W和b,模型加载时用new SVMModel(W,b)生成
一般都是这样的.
今天刚看到一个看spark源码剖析的书的哥们
【 在 czhang0528 的大作中提到: 】
: 估计全北邮玩spark的,加上楼主,1、2、3楼,不到20个人。。。
但是集群spark1.0.2平台已搭好,不方便再升级了。所以我们最后的方法是利用对象序列化储存搞定了
[存储model]:
val serial_out = new ObjectOutputStream(new FileOutputStream("svm_model.obj"))
serial_out.writeObject(model)
serial_out.close()
[加载model:]
val serial_in = new ObjectInputStream(new FileInputStream("svm_model.obj"))
val saved_model = serial_in.readObject().asInstanceOf[SVMModel]
【 在 wangqiudsc 的大作中提到: 】
: 终于找到玩Spark了,1.3可以了。