http://blog.chinaacc.com/caoyezhou 千江有水千江月 万里无云万里天 Sat, 26 May 2012 14:33:27 +0000 http://blog.chinaacc.com zh-cn hourly 1 http://blog.chinaacc.com/caoyezhou/blog/20111221-2119474327.html http://blog.chinaacc.com/caoyezhou/blog/20111221-2119474327.html#comments Wed, 21 Dec 2011 19:47:43 +0000 慢！让我弄 慢！让我弄 http://blog.chinaacc.com/caoyezhou/blog/20111221-2119474327.html /caoyezhou/blog/20111221-2119474327.html/feed http://blog.chinaacc.com/caoyezhou/blog/20111205-0518560227.html http://blog.chinaacc.com/caoyezhou/blog/20111205-0518560227.html#comments Mon, 05 Dec 2011 18:56:02 +0000 慢！让我弄 慢！让我弄 http://blog.chinaacc.com/caoyezhou/blog/20111205-0518560227.html /caoyezhou/blog/20111205-0518560227.html/feed http://blog.chinaacc.com/caoyezhou/blog/20111108-0818363527.html http://blog.chinaacc.com/caoyezhou/blog/20111108-0818363527.html#comments Tue, 08 Nov 2011 18:36:35 +0000 慢！让我弄 慢！让我弄 http://blog.chinaacc.com/caoyezhou/blog/20111108-0818363527.html /caoyezhou/blog/20111108-0818363527.html/feed http://blog.chinaacc.com/caoyezhou/blog/20110418-1811360027.html http://blog.chinaacc.com/caoyezhou/blog/20110418-1811360027.html#comments Mon, 18 Apr 2011 11:36:00 +0000 慢！让我弄 慢！让我弄 http://blog.chinaacc.com/caoyezhou/blog/20110418-1811360027.html /caoyezhou/blog/20110418-1811360027.html/feed http://blog.chinaacc.com/caoyezhou/blog/20110411-1116215127.html http://blog.chinaacc.com/caoyezhou/blog/20110411-1116215127.html#comments Mon, 11 Apr 2011 16:21:51 +0000 慢！让我弄 慢！让我弄 http://blog.chinaacc.com/caoyezhou/blog/20110411-1116215127.html 　　2、搜索引擎架构设计思路：　　(1)、调用方式最简化：　　尽量方便前端Web工程师，只需要一条简单的SQL语句“SELECT ... FROM myisam_table JOIN sphinx_table ON (sphinx_table.sphinx_id=myisam_table.id) WHERE query='...';”即可实现高效搜索。　　(2)、创建索引、查询速度快：　　①、Sphinx Search 是由俄罗斯人Andrew Aksyonoff 开发的高性能全文搜索软件包，在GPL与商业协议双许可协议下发行。　　Sphinx的特征：　　•Sphinx支持高速建立索引（可达10MB/秒，而Lucene建立索引的速度是1.8MB/秒）　　•高性能搜索（在2-4 GB的文本上搜索，平均0.1秒内获得结果）　　•高扩展性（实测最高可对100GB的文本建立索引，单一索引可包含1亿条记录）　　•支持分布式检索　　•支持基于短语和基于统计的复合结果排序机制　　•支持任意数量的文件字段（数值属性或全文检索属性）　　•支持不同的搜索模式（“完全匹配”，“短语匹配”和“任一匹配”）　　•支持作为Mysql的存储引擎　　②、通过国外《High Performance MySQL》专家组的测试可以看出，根据主键进行查询的类似“SELECT ... FROM ... WHERE id = ...”的SQL语句（其中id为PRIMARY KEY），每秒钟能够处理10000次以上的查询，而普通的SELECT查询每秒只能处理几十次到几百次：　　　　③、Sphinx不负责文本字段的存储。假设将数据库的id、date、title、body字段，用sphinx建立搜索索引。根据关键字、时间、类别、范围等信息查询一下sphinx，sphinx只会将查询结果的ID号等非文本信息告诉我们。要显示title、body等信息，还需要根据此ID号去查询MySQL数据库，或者从Memcachedb等其他的存储中取得。安装SphinxSE作为MySQL的存储引擎，将MySQL与Sphinx结合起来，是一种便捷的方法。　　创建一张Sphinx类型表，将MyISAM表的主键ID和Sphinx表的ID作一个JOIN联合查询。这样，对于MyISAM表来所，只相当于一个WHERE id=...的主键查询，WHERE后的条件都交给Sphinx去处理，可以充分发挥两者的优势，实现高速搜索查询。　　(3)、按服务类型进行分离：　　为了保证数据的一致性，我在配置Sphinx读取索引源的MySQL数据库时，进行了锁表。Sphinx读取索引源的过程会耗费一定时间，由于MyISAM存储引擎的读锁和写锁是互斥的，为了避免写操作被长时间阻塞，导致数据库同步落后跟不上，我将提供“搜索查询服务”的和提供“索引源服务”的MySQL数据库进行了分开。监听3306端口的MySQL提供“搜索查询服务”，监听3406端口的MySQL提供“索引源服务”。　　(4)、“主索引＋增量索引”更新方式：　　一般网站的特征：信息发布较为频繁；刚发布完的信息被编辑、修改的可能性大；两天以前的老帖变动性较小。　　基于这个特征，我设计了Sphinx主索引和增量索引。对于前天17:00之前的记录建立主索引，每天凌晨自动重建一次主索引；对于前天17:00之后到当前最新的记录，间隔3分钟自动重建一次增量索引。　　(5)、“Ext3文件系统＋tmpfs内存文件系统”相结合：　　为了避免每3分钟重建增量索引导致磁盘IO较重，从而引起系统负载上升，我将主索引文件创建在磁盘，增量索引文件创建在tmpfs内存文件系统“/dev/shm/”内。“/dev/shm/”内的文件全部驻留在内存中，读写速度非常快。但是，重启服务器会导致“/dev/shm/”内的文件丢失，针对这个问题，我会在服务器开机时自动创建“/dev/shm/”内目录结构和Sphinx增量索引。　　(6)、中文分词词库：　　我根据“自整理的中文分词库”＋“搜狗拼音输入法细胞词库”＋“LibMMSeg高频字库”＋... 综合整理成一份中文分词词库，出于某些考虑暂不提供。你可以使用LibMMSeg自带的中文分词词库。 　　二、MySQL+Sphinx+SphinxSE安装步骤：　　1、安装python支持（以下针对CentOS系统，其他Linux系统请使用相应的方法安装）yum install -y python python-devel 　　2、编译安装LibMMSeg（LibMMSeg是为Sphinx全文搜索引擎设计的中文分词软件包，其在GPL协议下发行的中文分词法，采用Chih-Hao Tsai的MMSEG算法。LibMMSeg在本文中用来生成中文分词词库。）　　以下压缩包“sphinx-0.9.8-rc2-chinese.zip”中包含mmseg-0.7.3.tar.gz、sphinx-0.9.8-rc2.tar.gz以及中文分词补丁。 下载文件 点击这里下载文件 unzip sphinx-0.9.8-rc2-chinese.ziptar zxvf mmseg-0.7.3.tar.gzcd mmseg-0.7.3/./configuremake make installcd ../ 　　3、编译安装MySQL 5.1.26-rc、Sphinx、SphinxSE存储引擎wget http://dev.mysql.com/get/Downloads/MySQL-5.1/mysql-5.1.26-rc.tar.gz/from/http://mirror.x10.com/mirror/mysql/tar zxvf mysql-5.1.26-rc.tar.gztar zxvf sphinx-0.9.8-rc2.tar.gzcd sphinx-0.9.8-rc2/patch -p1 < ../sphinx-0.98rc2.zhcn-support.patchpatch -p1 < ../fix-crash-in-excerpts.patchcp -rf mysqlse ../mysql-5.1.26-rc/storage/sphinxcd ../cd mysql-5.1.26-rc/sh BUILD/autorun.sh./configure --with-plugins=sphinx --prefix=/usr/local/mysql-search/ --enable-assembler --with-extra-charsets=complex --enable-thread-safe-client --with-big-tables --with-readline --with-ssl --with-embedded-server --enable-local-infilemake && make installcd ../cd sphinx-0.9.8-rc2/CPPFLAGS=-I/usr/include/python2.4LDFLAGS=-lpython2.4./configure --prefix=/usr/local/sphinx --with-mysql=/usr/local/mysql-searchmakemake installcd ../mv /usr/local/sphinx/etc/sphinx.conf /usr/local/sphinx/etc/sphinx.conf.old 　　第二章第3节之后的正文内容不予公布，全文的目录如下（共24页）：　　　　　　 ]]> 　　2、搜索引擎架构设计思路：　　(1)、调用方式最简化：　　尽量方便前端Web工程师，只需要一条简单的SQL语句“SELECT ... FROM myisam_table JOIN sphinx_table ON (sphinx_table.sphinx_id=myisam_table.id) WHERE query='...';”即可实现高效搜索。　　(2)、创建索引、查询速度快：　　①、Sphinx Search 是由俄罗斯人Andrew Aksyonoff 开发的高性能全文搜索软件包，在GPL与商业协议双许可协议下发行。　　Sphinx的特征：　　•Sphinx支持高速建立索引（可达10MB/秒，而Lucene建立索引的速度是1.8MB/秒）　　•高性能搜索（在2-4 GB的文本上搜索，平均0.1秒内获得结果）　　•高扩展性（实测最高可对100GB的文本建立索引，单一索引可包含1亿条记录）　　•支持分布式检索　　•支持基于短语和基于统计的复合结果排序机制　　•支持任意数量的文件字段（数值属性或全文检索属性）　　•支持不同的搜索模式（“完全匹配”，“短语匹配”和“任一匹配”）　　•支持作为Mysql的存储引擎　　②、通过国外《High Performance MySQL》专家组的测试可以看出，根据主键进行查询的类似“SELECT ... FROM ... WHERE id = ...”的SQL语句（其中id为PRIMARY KEY），每秒钟能够处理10000次以上的查询，而普通的SELECT查询每秒只能处理几十次到几百次：　　　　③、Sphinx不负责文本字段的存储。假设将数据库的id、date、title、body字段，用sphinx建立搜索索引。根据关键字、时间、类别、范围等信息查询一下sphinx，sphinx只会将查询结果的ID号等非文本信息告诉我们。要显示title、body等信息，还需要根据此ID号去查询MySQL数据库，或者从Memcachedb等其他的存储中取得。安装SphinxSE作为MySQL的存储引擎，将MySQL与Sphinx结合起来，是一种便捷的方法。　　创建一张Sphinx类型表，将MyISAM表的主键ID和Sphinx表的ID作一个JOIN联合查询。这样，对于MyISAM表来所，只相当于一个WHERE id=...的主键查询，WHERE后的条件都交给Sphinx去处理，可以充分发挥两者的优势，实现高速搜索查询。　　(3)、按服务类型进行分离：　　为了保证数据的一致性，我在配置Sphinx读取索引源的MySQL数据库时，进行了锁表。Sphinx读取索引源的过程会耗费一定时间，由于MyISAM存储引擎的读锁和写锁是互斥的，为了避免写操作被长时间阻塞，导致数据库同步落后跟不上，我将提供“搜索查询服务”的和提供“索引源服务”的MySQL数据库进行了分开。监听3306端口的MySQL提供“搜索查询服务”，监听3406端口的MySQL提供“索引源服务”。　　(4)、“主索引＋增量索引”更新方式：　　一般网站的特征：信息发布较为频繁；刚发布完的信息被编辑、修改的可能性大；两天以前的老帖变动性较小。　　基于这个特征，我设计了Sphinx主索引和增量索引。对于前天17:00之前的记录建立主索引，每天凌晨自动重建一次主索引；对于前天17:00之后到当前最新的记录，间隔3分钟自动重建一次增量索引。　　(5)、“Ext3文件系统＋tmpfs内存文件系统”相结合：　　为了避免每3分钟重建增量索引导致磁盘IO较重，从而引起系统负载上升，我将主索引文件创建在磁盘，增量索引文件创建在tmpfs内存文件系统“/dev/shm/”内。“/dev/shm/”内的文件全部驻留在内存中，读写速度非常快。但是，重启服务器会导致“/dev/shm/”内的文件丢失，针对这个问题，我会在服务器开机时自动创建“/dev/shm/”内目录结构和Sphinx增量索引。　　(6)、中文分词词库：　　我根据“自整理的中文分词库”＋“搜狗拼音输入法细胞词库”＋“LibMMSeg高频字库”＋... 综合整理成一份中文分词词库，出于某些考虑暂不提供。你可以使用LibMMSeg自带的中文分词词库。 　　二、MySQL+Sphinx+SphinxSE安装步骤：　　1、安装python支持（以下针对CentOS系统，其他Linux系统请使用相应的方法安装）yum install -y python python-devel 　　2、编译安装LibMMSeg（LibMMSeg是为Sphinx全文搜索引擎设计的中文分词软件包，其在GPL协议下发行的中文分词法，采用Chih-Hao Tsai的MMSEG算法。LibMMSeg在本文中用来生成中文分词词库。）　　以下压缩包“sphinx-0.9.8-rc2-chinese.zip”中包含mmseg-0.7.3.tar.gz、sphinx-0.9.8-rc2.tar.gz以及中文分词补丁。 下载文件 点击这里下载文件 unzip sphinx-0.9.8-rc2-chinese.ziptar zxvf mmseg-0.7.3.tar.gzcd mmseg-0.7.3/./configuremake make installcd ../ 　　3、编译安装MySQL 5.1.26-rc、Sphinx、SphinxSE存储引擎wget http://dev.mysql.com/get/Downloads/MySQL-5.1/mysql-5.1.26-rc.tar.gz/from/http://mirror.x10.com/mirror/mysql/tar zxvf mysql-5.1.26-rc.tar.gztar zxvf sphinx-0.9.8-rc2.tar.gzcd sphinx-0.9.8-rc2/patch -p1 < ../sphinx-0.98rc2.zhcn-support.patchpatch -p1 < ../fix-crash-in-excerpts.patchcp -rf mysqlse ../mysql-5.1.26-rc/storage/sphinxcd ../cd mysql-5.1.26-rc/sh BUILD/autorun.sh./configure --with-plugins=sphinx --prefix=/usr/local/mysql-search/ --enable-assembler --with-extra-charsets=complex --enable-thread-safe-client --with-big-tables --with-readline --with-ssl --with-embedded-server --enable-local-infilemake && make installcd ../cd sphinx-0.9.8-rc2/CPPFLAGS=-I/usr/include/python2.4LDFLAGS=-lpython2.4./configure --prefix=/usr/local/sphinx --with-mysql=/usr/local/mysql-searchmakemake installcd ../mv /usr/local/sphinx/etc/sphinx.conf /usr/local/sphinx/etc/sphinx.conf.old 　　第二章第3节之后的正文内容不予公布，全文的目录如下（共24页）：　　　　　　 ]]> /caoyezhou/blog/20110411-1116215127.html/feed http://blog.chinaacc.com/caoyezhou/blog/20110406-0611174527.html http://blog.chinaacc.com/caoyezhou/blog/20110406-0611174527.html#comments Wed, 06 Apr 2011 11:17:45 +0000 慢！让我弄 慢！让我弄 http://blog.chinaacc.com/caoyezhou/blog/20110406-0611174527.html ]]> ]]> /caoyezhou/blog/20110406-0611174527.html/feed http://blog.chinaacc.com/caoyezhou/blog/20110125-2517295727.html http://blog.chinaacc.com/caoyezhou/blog/20110125-2517295727.html#comments Tue, 25 Jan 2011 17:29:57 +0000 慢！让我弄 慢！让我弄 http://blog.chinaacc.com/caoyezhou/blog/20110125-2517295727.html /caoyezhou/blog/20110125-2517295727.html/feed http://blog.chinaacc.com/caoyezhou/blog/20110105-0508574227.html http://blog.chinaacc.com/caoyezhou/blog/20110105-0508574227.html#comments Wed, 05 Jan 2011 08:57:42 +0000 慢！让我弄 慢！让我弄 http://blog.chinaacc.com/caoyezhou/blog/20110105-0508574227.html ]]> ]]> /caoyezhou/blog/20110105-0508574227.html/feed http://blog.chinaacc.com/caoyezhou/blog/20110103-0308230927.html http://blog.chinaacc.com/caoyezhou/blog/20110103-0308230927.html#comments Mon, 03 Jan 2011 08:23:09 +0000 慢！让我弄 慢！让我弄 http://blog.chinaacc.com/caoyezhou/blog/20110103-0308230927.html 点击进入论坛参与讨论>> 　　访谈时间：2011年1月6日 19：00-21：00 　　访谈概要： 　　1、2011年注册 ]]> 点击进入论坛参与讨论>> 　　访谈时间：2011年1月6日 19：00-21：00 　　访谈概要： 　　1、2011年注册 ]]> /caoyezhou/blog/20110103-0308230927.html/feed http://blog.chinaacc.com/caoyezhou/blog/20101229-2914124227.html http://blog.chinaacc.com/caoyezhou/blog/20101229-2914124227.html#comments Wed, 29 Dec 2010 14:12:42 +0000 慢！让我弄 慢！让我弄 http://blog.chinaacc.com/caoyezhou/blog/20101229-2914124227.html /caoyezhou/blog/20101229-2914124227.html/feed array(0) { } here