kryo

    7热度

    2回答

    我很努力地理解在Spark中上下文中究竟是Arvo,Kryo和Parquet做了什么。他们都与序列化有关,但我已经看到他们一起使用,所以他们不能做同样的事情。 Parquet将自己描述为一种柱状存储格式,我有种感觉,但是当我保存镶木地板文件时,Arvo或Kryo可以与它做什么?或者它们只在火花工作期间相关,即。在洗牌或溢出到磁盘期间通过网络发送对象? Arvo和Kryo​​有什么不同,以及将它们一

    1热度

    1回答

    我想通过Twitter的chill-scala库使用Kryo序列化一个Scala类的实例。它来自一个图书馆(外部的罐子),因此,我认为,需要向Kryo注册。 如何使用chill-scala注册一个类以(de)序列化? 这里是我的代码的核心,主要基于检查寒冷的斯卡拉测试套件。 // This is from the chill-scala test suite def serialize[T](t

    0热度

    1回答

    我想用户kryo序列化一个自定义类本身包含一些自定义对象,更具体地是自定义对象的HashMap。我想知道处理这种事情的正确方法。下面是我尝试序列化(数据)的类,嵌套的类以及当前的kryo实现。这是正确的方法? public class Data { int id, int name, ItemList items; } public Class ItemList

    1热度

    1回答

    有时更新版本的依赖我的项目的时候,当我会跑的项目,我会收到以下错误: ERROR 09:31:34:241 apply$mcV$sp - Class could not be loaded and/or registered: scala.Enumeration$Val ERROR 09:31:34:247 apply$mcV$sp - exception caught during akka-

    2热度

    1回答

    我是新来的Netty 4.0.29,并努力使自定义对象编码器,并使用KRYO作为序列化库对象解码器,我无法使它工作。因为我是Netty的新手,也许这就是我搞乱某些东西的原因。我使用MessageToMessageEncoder和MessageToMessageDecoder 这里是我的编码器 - public class KryoEncoder extends MessageToMessageEn

    1热度

    1回答

    我发现了两种如何使用Kryo一般读写的方法,我在考虑如果其中一个更好或更差或者它们只是相同。 选项1 - 使用KRYO函数writeClassAndObject(readClassAndObject) public <T> void writeK(T obj, String fileName) { checkDir(path); Kryo kryo = new Kryo();

    0热度

    1回答

    我有一个只接受字符串作为键的缓存。这个缓存是遗留系统的一部分,我不能修改它们。要使用此缓存,我需要将缓存键转换为字符串。 使我的缓存键字符串串行它使用KRYO。将它们转换为bytes[],并在bytes[]中创建string。你有没有看到这样做的问题?现在用下面的代码转换为bytes[] 获取字节[]使用KRYO: - final Kryo kyroInstance = serializerIns

    0热度

    1回答

    运行Gradle构建时,测试失败。 PS: 1. Gradle使用正确的JDK(1.6)来构建。 2.我用JDK 1.7试过这个,同样的错误也出现在那里。 3.当我在本地(使用JDK 1.6)在Linux/windows上构建它时,我没有看到这个错误4.机器但机器中的一个给我这个错误。 我的小号 1.可以做些什么来解决com.esotericsoftware.kryo.KryoException:

    2热度

    1回答

    我对Kafka和Kryo​​非常陌生。我一直在使用默认的Kafka Serializer来处理Kafka上的简单String消息,但是我试图使用Kryo Serialization而没有成功。 有人可以解释或显示一个通过kryo序列化(生产者和消费者)向卡夫卡发送一些Java对象的例子吗? 我已经看到了有关同一主题没有答案的其他问题,我不能评论它。提前道歉。 谢谢。

    0热度

    1回答

    我正试图找到一种方法来用Java中的目录结构序列化数据。我要保存的数据是股票交易记录,每个记录都包含股票名称,价格,时间和交易量。我知道如何在没有任何层次结构的情况下对这些记录进行序列化(“贸易”类的实例),但我必须仔细阅读所有数十亿条记录,以便在阅读时收集单个特定股票的数据。所以,我希望数据能够通过股票名称进行分割,所以当需要少量股票的数据时,我的阅读表现会更快。 我知道你可以在HDF5中创建这