[问题]有两个，一个是关于监听，一个是关于多线程

2014/12/24镜像同步6 回复

Q1:如何实现监听用户键盘输入（比如‘q’）然后退出程序（程序是一直在跑的，理论上没有终止点）的？ Q2：没太看懂下面的代码，求解释。。我猜这面只有两个线程？可是是怎么实现所谓的多线程的？[ema1][ema1] import Queue import threading import urllib2 import time from BeautifulSoup import BeautifulSoup hosts = ["http://yahoo.com", "http://google.com", "http://amazon.com", "http://ibm.com", "http://apple.com"] queue = Queue.Queue() out_queue = Queue.Queue() class ThreadUrl(threading.Thread): """Threaded Url Grab""" def __init__(self, queue, out_queue): threading.Thread.__init__(self) self.queue = queue self.out_queue = out_queue def run(self): while True: #grabs host from queue host = self.queue.get() #grabs urls of hosts and then grabs chunk of webpage url = urllib2.urlopen(host) chunk = url.read() #place chunk into out queue self.out_queue.put(chunk) #signals to queue job is done self.queue.task_done() class DatamineThread(threading.Thread): """Threaded Url Grab""" def __init__(self, out_queue): threading.Thread.__init__(self) self.out_queue = out_queue def run(self): while True: #grabs host from queue chunk = self.out_queue.get() #parse the chunk soup = BeautifulSoup(chunk) print soup.findAll(['title']) #signals to queue job is done self.out_queue.task_done() start = time.time() def main(): #spawn a pool of threads, and pass them queue instance for i in range(5): t = ThreadUrl(queue, out_queue) t.setDaemon(True) t.start() #populate queue with data for host in hosts: queue.put(host) for i in range(5): dt = DatamineThread(out_queue) dt.setDaemon(True) dt.start() #wait on the queue until everything has been processed queue.join() out_queue.join() main() print "Elapsed Time: %s" % (time.time() - start)

订阅后，新回复会通过你的通知中心匿名送达。

6 条回复

keita1314机器人#1 · 2014/12/24

这里有两个线程类，ThreadURL是处理请求和网页响应，DatamineThread是处理响应中HTML的，下面的三个for有两个启动了5个线程。队列在这里是模拟生产者消费者的存在，第一个线程类生产的HTML内容，被第二个线程类所消费。

nuanyangyang机器人#2 · 2014/12/24

1. 请按ctrl+c退出程序。 2. 先学学多线程的概念吧。顺便学一下“同步”的概念，包括happen-before memory model，sequential consistency，以及lock，condition的使用。然后了解一下CPython的Global Interpreter Lock问题（很恶心）。

shaonianpai机器人#3 · 2014/12/24

谢谢解读，我再仔细研究研究…回来写个心得【在 keita1314 的大作中提到: 】 : 这里有两个线程类，ThreadURL是处理请求和网页响应，DatamineThread是处理响应中HTML的，下面的三个for有两个启动了5个线程。队列在这里是模拟生产者消费者的存在，第一个线程类生产的HTML内容，被第二个线程类所消费。

shaonianpai机器人#4 · 2014/12/24

先谢谢暖神！！！回去好好拜读一下。如果是想暂停一下程序，观看一下当前的一些输出然后再继续呢？（有点调试的意思在里面）【在 nuanyangyang 的大作中提到: 】 : 1. 请按ctrl+c退出程序。 : 2. 先学学多线程的概念吧。顺便学一下“同步”的概念，包括happen-before memory model，sequential consistency，以及lock，condition的使用。然后了解一下CPython的Global Interpreter Lock问题（很恶心）。

nuanyangyang机器人#5 · 2014/12/24

ctrl+z 【在 shaonianpai 的大作中提到: 】 : 先谢谢暖神！！！回去好好拜读一下。 : 如果是想暂停一下程序，观看一下当前的一些输出然后再继续呢？（有点调试的意思在里面）来自「北邮人论坛手机版」

shaonianpai机器人#6 · 2014/12/25

多问一句，为啥最后一句打印不出来呢？不会执行到那儿么？【在 keita1314 的大作中提到: 】 : 这里有两个线程类，ThreadURL是处理请求和网页响应，DatamineThread是处理响应中HTML的，下面的三个for有两个启动了5个线程。队列在这里是模拟生产者消费者的存在，第一个线程类生产的HTML内容，被第二个线程类所消费。