内存泄漏Symfony2 Doctrine2 /超出内存限制

Question

实际上，我对symfony2和doctrine2的组合有很多麻烦。我必须处理大量的数据集（大约2-3百万次的写入和读取），并且必须做很多额外的工作以避免内存不足。

我figgured了2个主要的点，即“泄漏”荷兰国际集团的内存（他们实际上是不是真的泄漏，但是分配了很多）

1. EntityManager的实体存储（我不知道这样做的真实姓名一个），好像它一直都处理的entites，你必须清除此存储regulary与

   $entityManager->clear()

2. 教义实现QueryCache - 它缓存所有使用的查询，我发现的唯一配置是你能决定什么你想要我们的那种Cache即我没有找到一个全局禁用既不是一个有用的标志为每个查询来禁用它。 所以通常与功能禁用它的每个查询的对象

    
   $qb = $repository->createQueryBuilder($a); 
   $query = $qb->getQuery(); 
   $query->useQueryCache(false); 
   $query->execute(); 
   

所以..这就是所有我现在想通了.. 我的问题是：

有没有一种简单的方法来否认来自Entitymanagerstorage的一些对象？ 有没有办法在entitymanager中设置querycache的使用？ 我可以在symonfony教义配置中配置这种缓存行为吗？

将是非常酷的，如果有一个人对我一些很好的建议..否则可能帮助一些新人..

CYA晚

Answer 1

一点点，但是我觉得我刚刚发现了一个thread on Google Groups本杰明Eberlei，回答你的问题：因为默认情况下SQL连接的记录规定由Doctrine Configuration Reference设置为kernel.debug的价值，因此，如果您有实例AppKernel与调试设置为真的SQL命令获得存储在内存中的每个迭代配给。

您应该实例AppKernel到假，设置登录到你假配置阳明，或任一使用EntityManager

$em->getConnection()->getConfiguration()->setSQLLogger(null); 

Answer 2

尝试运行命令之前手动设置SQLLogger为null与- 无调试。在调试模式下，分析器保留有关内存中每个查询的信息。

Answer 3

接到学说开发商本身symfony的住在柏林的一些“有趣”的消息 - 他们说，这对大批量，我们不应该使用ORM ..它只是没有有效的空中接力

建立这样的东西

..是啊..也许他们是对的xD

Answer 4

尝试禁用存在的任何Doctrine缓存。 （如果您不使用APC /其他缓存，则使用内存）。

删除查询缓存

$qb = $repository->createQueryBuilder($a); 
$query = $qb->getQuery(); 
$query->useQueryCache(false); 
$query->useResultCache(false); 
$query->execute(); 

有没有办法来全局禁用它

而且这是清除可能的帮助（从here）

$connection = $em->getCurrentConnection(); 
$tables = $connection->getTables(); 
foreach ($tables as $table) { 
    $table->clear(); 
} 

Answer 5

替代根据标准Doctrine2文档，您需要手动清除或增加实体。

除此之外，启用分析时（如在默认的开发环境中）。 Symfony2中的DoctrineBundle配置了几个记录器使用相当多的内存。您可以完全禁用日志记录，但它不是必需的。

一个有趣的副作用是记录仪同时影响Doctrine ORM和DBAL。记录器之一将导致使用默认记录器服务的任何服务的额外内存使用量。禁用所有这些将是理想的命令 - 因为分析器尚未使用。

这里是你可以做什么来禁用内存密集型记录器，同时保持谱在Symfony2中的其他部分启用：

$c = $this->getContainer(); 
/* 
* The default dbalLogger is configured to keep "stopwatch" events for every query executed 
* the only way to disable this, as of Symfony 2.3, Doctrine Bundle 1.2, is to reinistiate the class 
*/ 

$dbalLoggerClass = $c->getParameter('doctrine.dbal.logger.class'); 
$dbalLogger = new $dbalLoggerClass($c->get('logger')); 
$c->set('doctrine.dbal.logger', $dbalLogger); 

// sometimes you need to configure doctrine to use the newly logger manually, like this 
$doctrineConfiguration = $c->get('doctrine')->getManager()->getConnection()->getConfiguration(); 
$doctrineConfiguration->setSQLLogger($dbalLogger); 

/* 
* If profiling is enabled, this service will store every query in an array 
* fortunately, this is configurable with a property "enabled" 
*/ 
if($c->has('doctrine.dbal.logger.profiling.default')) 
{ 
    $c->get('doctrine.dbal.logger.profiling.default')->enabled = false; 
} 

/* 
* When profiling is enabled, the Monolog bundle configures a DebugHandler that 
* will store every log messgae in memory. 
* 
* As of Monolog 1.6, to remove/disable this logger: we have to pop all the handlers 
* and then push them back on (in the correct order) 
*/ 
$handlers = array(); 
try 
{ 
    while($handler = $logger->popHandler()) 
    { 
     if($handler instanceOf \Symfony\Bridge\Monolog\Handler\DebugHandler) 
     { 
      continue; 
     } 
     array_unshift($handlers, $handler); 
    } 
} 
catch(\LogicException $e) 
{ 
    /* 
    * As of Monolog 1.6, there is no way to know if there's a handler 
    * available to pop off except for the \LogicException that's thrown. 
    */ 
    if($e->getMessage() != 'You tried to pop from an empty handler stack.') 
    { 
     /* 
     * this probably doesn't matter, and will probably break in the future 
     * this is here for the sake of people not knowing what they're doing 
     * so than an unknown exception is not silently discarded. 
     */ 

     // remove at your own risk 
     throw $e; 
    } 
} 

// push the handlers back on 
foreach($handlers as $handler) 
{ 
    $logger->pushHandler($handler); 
} 

Answer 6

1. 设置SQL记录为空

$em->getConnection()->getConfiguration()->setSQLLogger(null);

1. 手动调用函数gc_collect_cycles()后$em->clear()

$em->clear(); gc_collect_cycles();

不要忘记设置zend.enable_gc为1，或手动使用之前调用gc_enable()gc_collect_cycles()

添加--no-debug选项，如果你从运行指令安慰。

Answer 7

1.关闭记录和分析在app/config/config.yml

doctrine: 
    dbal: 
     driver: ... 
     ... 
     logging: false 
     profiling: false 

或代码

$this->em->getConnection()->getConfiguration()->setSQLLogger(null); 

2.强制垃圾收集器。如果您主动使用CPU，则垃圾收集器会等待，并且您很快就会发现自己没有内存。

首先启用手动垃圾收集管理。在代码的任何地方运行gc_enable()。然后运行gc_collect_cycles()强制垃圾收集器。

例

public function execute(InputInterface $input, OutputInterface $output) 
{ 
    gc_enable(); 

    // I'm initing $this->em in __construct using DependencyInjection 
    $customers = $this->em->getRepository('AppBundle:Customer')->findAll(); 

    $counter = 0; 
    foreach ($customers as $customer) { 
     // process customer - some logic here, $this->em->persist and so on 

     if (++$counter % 100 == 0) { 
      $this->em->flush(); // save unsaved changes 
      $this->em->clear(); // clear doctrine managed entities 
      gc_collect_cycles(); // PHP garbage collect 

      // Note that $this->em->clear() detaches all managed entities, 
      // may be you need some; reinit them here 
     } 
    } 

    // don't forget to flush in the end 
    $this->em->flush(); 
    $this->em->clear(); 
    gc_collect_cycles(); 
} 

如果你的表是非常大的，不使用findAll。使用迭代器 - http://doctrine-orm.readthedocs.org/projects/doctrine-orm/en/latest/reference/batch-processing.html#iterating-results

Answer 8

我刚刚发布了一些关于使用Symfony控制台命令和Doctrine进行批处理的技巧here。