Akka Streams Hikari连接池用于MySQL流式传输

我使用Slick 3和Akka Streams从mysql中传输数据。Akka Streams Hikari连接池用于MySQL流式传输

这是我建立我的源

import slick.jdbc.MySQLProfile.api._ 
val enableJdbcStreaming: (java.sql.Statement) => Unit = {statement => 
    if (statement.isWrapperFor(classOf[com.mysql.cj.jdbc.StatementImpl])) { 
     statement.unwrap(classOf[com.mysql.cj.jdbc.StatementImpl]).enableStreamingResults() 
    } 
    } 
val query = Tables.Foo.filter(r => r.isActive === true) 
    .map(r => r.id).result.withStatementParameters(statementInit = enableJdbcStreaming) 
Source.fromPublisher(db.stream(query))

我的应用程序运行像20分钟，然后关闭并出现以下错误

[error] Exception in thread "abhipool network timeout executor" java.lang.NullPointerException 
[info] 15:31:46 INFO [HikariPool] - abhipool - Close initiated... 
[error]  at com.mysql.cj.mysqla.io.MysqlaProtocol.setSocketTimeout(MysqlaProtocol.java:1397) 
[error]  at com.mysql.cj.mysqla.MysqlaSession$1.run(MysqlaSession.java:401) 
[error]  at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 
[error]  at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 
[error]  at java.lang.Thread.run(Thread.java:745)

我有一种感觉，因为我的查询是运行很长一段时间，会有某种超时发生，正在启动关闭。

我的连接

mysql { 
    profile = "slick.jdbc.MySQLProfile$" 
    dataSourceClass = "slick.jdbc.DatabaseUrlDataSource" 
    properties { 
    driver = "com.mysql.cj.jdbc.Driver" 
    url = "jdbc:mysql://foo:3306/bar?useLegacyDatetimeCode=false&serverTimezone=America/Chicago" 
    user = "foo" 
    password = "bar" 
    } 
    connectionTimeout = 0 
    idleTimeout = 0 
    maxLifetime = 0 
    maxConnections = 40 
    minConnections = 10 
    poolName = "abhipool" 
    numThreads = 10 
}

依赖

"com.typesafe.slick" %% "slick" % "3.2.1", 
"com.typesafe.slick" %% "slick-hikaricp" % "3.2.1", 
"mysql" % "mysql-connector-java" % "6.0.6",

我如何配置我的应用程序的数据库连接，这样即使我好几天流应用流的数据......它继续运行。

关于同一问题here有一个非常冗长的对话，但它并没有告诉我如何真正解决这个问题。这个问题使得编写长时间运行的使用Mysql作为源的流式任务是完全不可能的。

来源

2017-10-17 Knows Not Much

您可以通过在URL

url = "jdbc:mysql://foo:3306/bar?useLegacyDatetimeCode=false&serverTimezone=America/Chicago&socketTimeout=30000"

我把30000的例子着想添加参数配置MySQL驱动，把适合您的需要

来源

2017-10-18 10:40:48 n1r3

30000后会发生什么是正确的价值？我的工作将持续几天。 –

然后更改值，以便它是一个星期，或者我错过了什么？ – n1r3

Akka Streams Hikari连接池用于MySQL流式传输

回答

相关问题