如何在大型表上优化这个mysql连接？

Question

我有一个项目，管理员需要创建多个通讯，其中包含一些来自网络的已抓取帖子。

我在抓取完成后在posts表格中插入帖子，并为它们分配feed_id以标识源码。这是posts表的结构（部分）：

CREATE TABLE `posts` (
    `id` int(11) unsigned NOT NULL AUTO_INCREMENT, 
    `feed_id` int(11) NOT NULL, 
    `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP, 
    `updated_at` timestamp NULL DEFAULT NULL, 
    `identifier` varchar(255) DEFAULT NULL, 
    `published` timestamp NULL DEFAULT NULL, 
    `content` longtext, 
    ... 
    ... 
    `is_unread` int(1) NOT NULL DEFAULT '1', 
    PRIMARY KEY (`id`) 
) ENGINE=InnoDB DEFAULT CHARSET=utf8; 

每个管理员（用户）可以访问一个或多个“饲料”。因此，在新闻快讯创建页面中，我想向他们展示他们可以看到的新闻帖子列表，并且还显示了一个按钮，可以将该帖子置于该新闻快讯的特定类别中，如果用户以前选择该帖子，我应该告诉他，让他从类别中删除它。所以我也有其他一些表格：newsletters,categories,newsletter_post,category_post。这里是它们的结构：

newsletters：

CREATE TABLE `newsletters` (
    `id` int(11) unsigned NOT NULL AUTO_INCREMENT, 
    `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP, 
    `updated_at` timestamp NULL DEFAULT NULL, 
    `sent_at` timestamp NULL DEFAULT NULL, 
    `title` varchar(255) DEFAULT NULL, 
    `date` date DEFAULT NULL, 
    `topic_id` int(11) NOT NULL, 
    `user_id` int(11) NOT NULL, 
    PRIMARY KEY (`id`) 
) ENGINE=InnoDB DEFAULT CHARSET=utf8; 

categories：

CREATE TABLE `categories` (
    `id` int(11) unsigned NOT NULL AUTO_INCREMENT, 
    `topic_id` int(11) NOT NULL, 
    `title` varchar(255) DEFAULT NULL, 
    `slug` varchar(255) DEFAULT NULL, 
    PRIMARY KEY (`id`) 
) ENGINE=InnoDB DEFAULT CHARSET=utf8; 

newsletter_post：

CREATE TABLE `newsletter_post` (
    `id` int(11) unsigned NOT NULL AUTO_INCREMENT, 
    `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP, 
    `updated_at` timestamp NULL DEFAULT NULL, 
    `newsletter_id` int(11) NOT NULL, 
    `post_id` int(11) NOT NULL, 
    PRIMARY KEY (`id`) 
) ENGINE=InnoDB DEFAULT CHARSET=utf8; 

category_post：

CREATE TABLE `category_post` (
    `id` int(11) unsigned NOT NULL AUTO_INCREMENT, 
    `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP, 
    `updated_at` timestamp NULL DEFAULT NULL, 
    `category_id` int(11) NOT NULL, 
    `post_id` int(11) NOT NULL, 
    PRIMARY KEY (`id`) 
) ENGINE=InnoDB DEFAULT CHARSET=utf8; 

所以我用这个查询找到了允许的Feed职位，检查状态，如果帖子是在这个特定的通讯特定类别：

SELECT DISTINCT `posts`.`id`, `published`, `posts`.`title`, `posts`.`content`, `source_name`, `category_id`, `newsletter_id`, `link_href`, categories.title as category_title 
FROM `posts` 
LEFT JOIN `category_post` ON `posts`.`id` = `category_post`.`post_id` 
LEFT JOIN `categories` ON `categories`.`id` = `category_post`.`category_id` 
LEFT JOIN `newsletter_post` ON `posts`.`id` = `newsletter_post`.`post_id` 
LEFT JOIN `newsletters` ON `newsletters`.`id` = `newsletter_post`.`newsletter_id` 
WHERE `feed_id` IN (6, 7) ORDER BY `posts`.`published` DESC LIMIT 40 OFFSET 0 

但问题是，这是可怕的并没有优化。我的posts表每月最多包含50,000行，每行平均有3〜10kbs的数据，所以有时当我尝试运行查询时（管理员经常运行这些查询以创建新闻简报，分页等）mysql显示这个错误：太多的行加入等等，大部分时间它真的很慢。

和我在一个查询中完成所有操作的原因是因为我希望结果在一个json响应中，因此我可以快速向用户显示它们而不会执行其他请求。

我想知道是否有更好的方法来做这个查询或使用索引或其他东西。 非常感谢您的帮助。

Answer 1

索引你的职位表中的以下指标指标上

（FEED_ID，出版）

所以数据的WHERE子句已经优化，预排序以帮助您的ORDER BY。

Answer 2

请创建::

1) `post_id` in `category_post` 
2) `post_id` in `newsletter_post` 

Answer 3

对于有很多需求的查询查询，InnoDB效率很低。我建议你使用NoSQL数据库，但是如果你不想要或改变的代价太大......你可以试试这个：

1）LIKE Sallar Kaboli告诉你，你必须在JOIN查询中使用的列索引你的表。例如：

 CREATE INDEX index1 ON newsletter_post (post_id); 

2）仅使用JOINS的重要列。

我的意思是，你必须只使用查询的SELECT部分​​中使用的列。

我希望这会有所帮助。

Answer 4

完成其他的答案，我建议改变posts表此类型：

1）改变feed_id到int(4)。真的，你有超过int(4)提要？
2）将is_unread更改为bit而不是int(1)。我应该说，这可能不会改善您提出的问题查询，但根据字段名称，正确的类型是bit。

对此答案的另一个改进是，从不使用数字或ID字段的默认int(11)，指定更具体的类型。使用较小尺寸的类型也会改善您的索引。我不认为你需要超过int(4)字段id。

例如索引和查询int(3)列比int(11)更快。