HTTPSQS 1.7 发布：Libevent 2.0.x 的 evhttp_parse_query BUG 与动态编译时指定动态链接库 .so 寻找路径
越狱的 iPhone、iPad 通过网站实现一键安装 ipa 格式的 APP 应用
2011-8-5 15:33 | by
[文章作者：张宴 本文版本：v1.0 最后修改：2011.08.05 转载请注明原文链接：http://blog.zyan.cc/file_get_contents/]
有时候，运行 Nginx、PHP-CGI(php-fpm) Web服务的 Linux 服务器，突然系统负载上升，使用 top 命令查看，很多 php-cgi 进程 CPU 使用率接近100%。后来，我通过跟踪发现，这类情况的出现，跟 PHP 的 file_get_contents() 函数有着密切的关系。
大、中型网站中，基于 HTTP 协议的 API 接口调用，是家常便饭。PHP 程序员们喜欢使用简单便捷的 file_get_contents("http://example.com/") 函数，来获取一个 URL 的返回内容，但是，如果 http://example.com/ 这个网站响应缓慢，file_get_contents() 就会一直卡在那儿，不会超时。
我们知道，在 php.ini 中，有一个参数 max_execution_time 可以设置 PHP 脚本的最大执行时间，但是，在 php-cgi(php-fpm) 中，该参数不会起效。真正能够控制 PHP 脚本最大执行时间的是 php-fpm.conf 配置文件中的以下参数：
默认值为 0 秒，也就是说，PHP 脚本会一直执行下去。这样，当所有的 php-cgi 进程都卡在 file_get_contents() 函数时，这台 Nginx+PHP 的 WebServer 已经无法再处理新的 PHP 请求了，Nginx 将给用户返回“502 Bad Gateway”。修改该参数，设置一个 PHP 脚本最大执行时间是必要的，但是，治标不治本。例如改成 <value name="request_terminate_timeout">30s</value>，如果发生 file_get_contents() 获取网页内容较慢的情况，这就意味着 150 个 php-cgi 进程，每秒钟只能处理 5 个请求，WebServer 同样很难避免“502 Bad Gateway”。
要做到彻底解决，只能让 PHP 程序员们改掉直接使用 file_get_contents("http://example.com/") 的习惯，而是稍微修改一下，加个超时时间，用以下方式来实现 HTTP GET 请求。要是觉得麻烦，可以自行将以下代码封装成一个函数。
当然，导致 php-cgi 进程 CPU 100% 的原因不只有这一种，那么，怎么确定是 file_get_contents() 函数导致的呢？
首先，使用 top 命令查看 CPU 使用率较高的 php-cgi 进程。
找其中一个 CPU 100% 的 php-cgi 进程的 PID，用以下命令跟踪一下：
如果屏幕显示：
那么，就可以确定是 file_get_contents() 导致的问题了。
有时候，运行 Nginx、PHP-CGI(php-fpm) Web服务的 Linux 服务器，突然系统负载上升，使用 top 命令查看，很多 php-cgi 进程 CPU 使用率接近100%。后来，我通过跟踪发现，这类情况的出现，跟 PHP 的 file_get_contents() 函数有着密切的关系。
大、中型网站中，基于 HTTP 协议的 API 接口调用，是家常便饭。PHP 程序员们喜欢使用简单便捷的 file_get_contents("http://example.com/") 函数，来获取一个 URL 的返回内容，但是，如果 http://example.com/ 这个网站响应缓慢，file_get_contents() 就会一直卡在那儿，不会超时。
我们知道，在 php.ini 中，有一个参数 max_execution_time 可以设置 PHP 脚本的最大执行时间，但是，在 php-cgi(php-fpm) 中，该参数不会起效。真正能够控制 PHP 脚本最大执行时间的是 php-fpm.conf 配置文件中的以下参数：
默认值为 0 秒，也就是说，PHP 脚本会一直执行下去。这样，当所有的 php-cgi 进程都卡在 file_get_contents() 函数时，这台 Nginx+PHP 的 WebServer 已经无法再处理新的 PHP 请求了，Nginx 将给用户返回“502 Bad Gateway”。修改该参数，设置一个 PHP 脚本最大执行时间是必要的，但是，治标不治本。例如改成 <value name="request_terminate_timeout">30s</value>，如果发生 file_get_contents() 获取网页内容较慢的情况，这就意味着 150 个 php-cgi 进程，每秒钟只能处理 5 个请求，WebServer 同样很难避免“502 Bad Gateway”。
要做到彻底解决，只能让 PHP 程序员们改掉直接使用 file_get_contents("http://example.com/") 的习惯，而是稍微修改一下，加个超时时间，用以下方式来实现 HTTP GET 请求。要是觉得麻烦，可以自行将以下代码封装成一个函数。
当然，导致 php-cgi 进程 CPU 100% 的原因不只有这一种，那么，怎么确定是 file_get_contents() 函数导致的呢？
首先，使用 top 命令查看 CPU 使用率较高的 php-cgi 进程。
top - 10:34:18 up 724 days, 21:01, 3 users, load average: 17.86, 11.16, 7.69
Tasks: 561 total, 15 running, 546 sleeping, 0 stopped, 0 zombie
Cpu(s): 5.9%us, 4.2%sy, 0.0%ni, 89.4%id, 0.2%wa, 0.0%hi, 0.2%si, 0.0%st
Mem: 8100996k total, 4320108k used, 3780888k free, 772572k buffers
Swap: 8193108k total, 50776k used, 8142332k free, 412088k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
10747 www 18 0 360m 22m 12m R 100.6 0.3 0:02.60 php-cgi
10709 www 16 0 359m 28m 17m R 96.8 0.4 0:11.34 php-cgi
10745 www 18 0 360m 24m 14m R 94.8 0.3 0:39.51 php-cgi
10707 www 18 0 360m 25m 14m S 77.4 0.3 0:33.48 php-cgi
10782 www 20 0 360m 26m 15m R 75.5 0.3 0:10.93 php-cgi
10708 www 25 0 360m 22m 12m R 69.7 0.3 0:45.16 php-cgi
10683 www 25 0 362m 28m 15m R 54.2 0.4 0:32.65 php-cgi
10711 www 25 0 360m 25m 15m R 52.2 0.3 0:44.25 php-cgi
10688 www 25 0 359m 25m 15m R 38.7 0.3 0:10.44 php-cgi
10719 www 25 0 360m 26m 16m R 7.7 0.3 0:40.59 php-cgi
Tasks: 561 total, 15 running, 546 sleeping, 0 stopped, 0 zombie
Cpu(s): 5.9%us, 4.2%sy, 0.0%ni, 89.4%id, 0.2%wa, 0.0%hi, 0.2%si, 0.0%st
Mem: 8100996k total, 4320108k used, 3780888k free, 772572k buffers
Swap: 8193108k total, 50776k used, 8142332k free, 412088k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
10747 www 18 0 360m 22m 12m R 100.6 0.3 0:02.60 php-cgi
10709 www 16 0 359m 28m 17m R 96.8 0.4 0:11.34 php-cgi
10745 www 18 0 360m 24m 14m R 94.8 0.3 0:39.51 php-cgi
10707 www 18 0 360m 25m 14m S 77.4 0.3 0:33.48 php-cgi
10782 www 20 0 360m 26m 15m R 75.5 0.3 0:10.93 php-cgi
10708 www 25 0 360m 22m 12m R 69.7 0.3 0:45.16 php-cgi
10683 www 25 0 362m 28m 15m R 54.2 0.4 0:32.65 php-cgi
10711 www 25 0 360m 25m 15m R 52.2 0.3 0:44.25 php-cgi
10688 www 25 0 359m 25m 15m R 38.7 0.3 0:10.44 php-cgi
10719 www 25 0 360m 26m 16m R 7.7 0.3 0:40.59 php-cgi
找其中一个 CPU 100% 的 php-cgi 进程的 PID，用以下命令跟踪一下：
strace -p 10747
如果屏幕显示：
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
那么，就可以确定是 file_get_contents() 导致的问题了。
苹果
2011-8-5 15:46
跟踪进程。学会一招。
兽人
2011-8-5 15:50
niu
2011-8-5 15:53
牛
懒人
2011-8-5 16:50
晚上跟踪下进程看看到底是什么问题....
enjoy 
2011-8-5 18:00
这个方法不错，比较通用。我这使用curl封装成函数来替代file_get_content。
Johnny
2011-8-5 20:25
Sudu 
2011-8-5 20:44
这一篇文章帮了大家一个大忙，看来以后这个配置也是nginx必须要注意的了。
渔夫
2011-8-5 22:36
应该是配置php吧。 nginx又是躺着也中枪
tanjun
2011-8-6 08:02
阳,武昌,蔡甸,江夏,黄陂,咸宁会议度假村,农家乐, www.027djc.com
weizi
2011-8-6 09:05
同学可否说明一下为何 看了strace 之后的结果就知道是 file_get_contents 导致的问题了，对这个不太明白，希望能解答一下， 3Q
张宴 回复于 2011-8-8 09:22
开启<value name="request_slowlog_timeout">3s</value>记录慢执行日志，会在日志中打印出执行慢的代码行数。php-cgi(php-fpm) 使用了Libevent，而Libevent 在 Linux 2.6 内核以上默认会使用 epoll I/O 模型处理 FastCGI 网络请求，而非 select/poll。在慢日志记录的代码行数中，包含 file_get_contents 以及其他函数，而 file_get_contents 等作为 Client 发起 HTTP 请求的函数使用的是 select/poll 模型，也就是说，只有 file_get_contents 等满足“TCP请求默认不超时、使用select/poll 模型、进程CPU 100%”的网络操作函数，会导致 strace -p 看到的这种情况。
andy
2011-8-6 16:22
我之前也遇到过类似问题，当时脚本里也用的file_get_contents函数，起初没什么问题，后来因为服务器问题无法请求，才暴露出这个cpu的问题，而且还产生很多僵尸进程，当时就跟踪判断了下，发现可能是file_get_contents问题，果断换了curl，现在没有此类问题了
evil
2011-8-6 16:22
同上， 怎么看了strace 的结果，就能判断出是 file_get_contents 呢
龙_2
2011-8-6 22:10
当时为了防止出现奇怪的问题，用curl重写了一个_file_get_contents，然后用它替换了file_get_contents
McFog
2011-8-7 09:01
拉URL那么贵的操作，还是Cache一下的比较好吧另外同问那个结果怎么看出来是file_get_contents的
另外同问那个结果怎么看出来是file_get_contents的
张宴 回复于 2011-8-8 09:22
开启<value name="request_slowlog_timeout">3s</value>记录慢执行日志，会在日志中打印出执行慢的代码行数。php-cgi(php-fpm) 使用了Libevent，而Libevent 在 Linux 2.6 内核以上默认会使用 epoll I/O 模型处理 FastCGI 网络请求，而非 select/poll。在慢日志记录的代码行数中，包含 file_get_contents 以及其他函数，而 file_get_contents 等作为 Client 发起 HTTP 请求的函数使用的是 select/poll 模型，也就是说，只有 file_get_contents 等满足“TCP请求默认不超时、使用select/poll 模型、进程CPU 100%”的网络操作函数，会导致 strace -p 看到的这种情况。
让爱飞
2011-8-7 09:05
究竟是怎样 看了strace 的结果，就能判断出是 file_get_contents 呢呀
张宴 回复于 2011-8-8 09:22
开启<value name="request_slowlog_timeout">3s</value>记录慢执行日志，会在日志中打印出执行慢的代码行数。php-cgi(php-fpm) 使用了Libevent，而Libevent 在 Linux 2.6 内核以上默认会使用 epoll I/O 模型处理 FastCGI 网络请求，而非 select/poll。在慢日志记录的代码行数中，包含 file_get_contents 以及其他函数，而 file_get_contents 等作为 Client 发起 HTTP 请求的函数使用的是 select/poll 模型，也就是说，只有 file_get_contents 等满足“TCP请求默认不超时、使用select/poll 模型、进程CPU 100%”的网络操作函数，会导致 strace -p 看到的这种情况。
蚊子
2011-8-8 18:07
我倒...果然是这个原因。。。谢谢老张童鞋。
Ray
2011-8-9 08:29
受益非浅，每次您的博客有更新，第一时间抄送给全体技术部人员。
娃哈哈
2011-8-9 09:55
受教了，以后用file_get_contents还真得注意一下
习小衣
2011-8-9 13:31
嘻嘻~看不懂~
TinTin
2011-8-9 23:37
是的，之前有遇到过这个问题，所有的file_get_conetnets都被我们换成curl的方式，并加上超时时间
分页： 1/11 
1 2 3 4 5 6 7 8 9 10 
1 2 3 4 5 6 7 8 9 10
